內部威脅：AI 聊天機器人的風險
內部威脅是最嚴重的網絡攻擊類型之一，對公司的關鍵系統和資產構成威脅。隨著企業迅速部署新型內部和面向客戶的 AI 聊天機器人，無意中開啟了新的攻擊途徑和風險。
AI 聊天機人的脆弱性
最近的研究《ArtPrompt：基於 ASCII 藝術的 Jailbreak 攻擊針對對齊 LLMs》揭示了 AI 系統的敏感性。研究人員成功利用 ASCII 藝術破解了五個最先進的大型語言模型（LLMs），包括 OpenAI 的 ChatGPT-3.5、GPT-4、Gemini、Claude 和 Meta 的 Llama2。
ArtPrompt 利用了 LLMs 在解讀 ASCII 藝術方面的難題，使攻擊者能夠繞過安全措施。特別的是，這種攻擊能以有限的訪問權限執行，並且成功破解所需的嘗試次數也相對較少。
理解 ASCII 藝術的脆弱性
儘管 LLMs 在語義解析方面表現優異，但在複雜的空間和視覺識別上卻有所不足。研究人員旨在驗證為何 ASCII 藝術對破解如此有效。他們建立了“視覺文本挑戰”（VITC），這是一項旨在評估 LLMs 透過兩個獨特數據集識別 ASCII 藝術能力的基準。
- VITC-S 專注於 ASCII 藝術中的單個字符，涵蓋 36 類，共有 8,424 個樣本，專為挑戰 LLM 的識別技能而設。
- VITC-L 則增加了難度，展示了 800 類中 10 種不同字體的字符序列。
從 VITC-S 到 VITC-L 的漸變有效突顯了 LLMs 在 ASCII 藝術解析上的限制。
ArtPrompt 使用兩步攻擊策略，利用 ASCII 文字隱藏 LLMs 通常過濾的安全詞。第一步暴露出安全詞，如“炸彈”，然後在第二步中用 ASCII 藝術進行隱藏。此方法已證明對五個最先進的 LLMs 有效。
內部 AI 聊天機人的興起
企業正加速轉向內部和面向客戶的 AI 聊天機人，以獲得潛在的生產力、成本效率和收益提升。根據波士頓諮詢集團（BCG）的報告，前 10% 的企業已全面整合生成式 AI 應用，44% 的企業從規模化的預測 AI 中獲得了顯著回報。值得注意的是，這些高效能組織中的三分之二，領先於生物製藥、能源和保險等行業，而不僅僅是亞馬遜或谷歌等數位原生公司。
例如，一家美國能源公司為一線技術人員實施了基於生成式 AI 的對話平台，生產力提升了 7%。同時，某生物製藥公司利用生成式 AI 將藥物發現的時間縮短了 25%。
內部聊天機器人的安全挑戰
不斷增長的內部聊天機器人構成了重大的攻擊面，安全措施難以跟上進展。某主要金融服務公司的CISO 強調，這些聊天機器人必須設計以能夠從用戶錯誤和疏忽中恢復，同時在抵禦攻擊方面進行加固。
Ponemon Institute 的《2023 內部風險成本報告》強調了對核心系統實施堅決安全措施的必要性，包括雲配置和 AI 聊天機器人。減少一次攻擊的成本平均為 720 萬美元，其中疏忽佔內部安全漏洞的 55%。
演變中的防禦策略
應對 ASCII 藝術攻擊將需要不斷完善，以減少誤報和漏報。如果檢測方法有所進化，攻擊者將適應，不斷測試 LLM 能力的極限。專家建議採用多模式防禦策略，結合基於機器學習的 ASCII 藝術識別及持續監控。
網絡安全供應商如 Cisco、Ericom Security、Menlo Security、Nightfall AI、Wiz 和 Zscaler 正在開發保障 ChatGPT 期間機密數據的方法。Zscaler 建議采用五步驟方法：
1. 定義一組最低的生成式 AI 和機器學習應用以控制風險。
2. 批准內部聊天機器人和應用的擴展使用。
3. 在安全環境中為 ChatGPT 創建私有伺服器實例。
4. 實施單一登錄（SSO）和強化的多因素身份驗證（MFA）。
5. 強制執行數據損失防護（DLP）協議以防止數據洩漏。
Ericom 的高級產品市場經理指出，隔離對生成式 AI 工具的訪問可以使員工在利用省時資源的同時，保護敏感信息。
鑒於 ASCII 藝術的複雜性，建立有效的防禦措施以防止此類攻擊對聊天機器人及其支持的 LLMs 至關重要。正如研究人員強調的，多模式防禦策略對於減輕這些不斷演變的威脅至關重要。
排行榜
