内部威胁：AI 聊天机器人面临的风险
内部威胁是最严重的网络攻击类型之一，危及公司的核心系统和资产。随着企业快速部署新型内部和面向客户的 AI 聊天机器人，它们无意中开放了新的攻击通道和风险。
AI 聊天机器人的脆弱性
最近的研究《ArtPrompt：基于 ASCII 艺术的针对对齐大型语言模型（LLMs）的越狱攻击》揭示了 AI 系统的脆弱性。研究人员成功地利用 ASCII 艺术对五种先进的大型语言模型（如 OpenAI 的 ChatGPT-3.5、GPT-4、Gemini、Claude 和 Meta 的 Llama2）进行越狱。
ArtPrompt 利用 LLM 在解读 ASCII 艺术方面的困难，使攻击者能够绕过安全措施。值得注意的是，该攻击可以在对目标 LLM 的有限访问条件下执行，并且成功越狱所需的尝试次数较少。
理解 ASCII 艺术的脆弱性
虽然 LLM 在语义理解上表现优异，但在复杂的空间和视觉识别中则显得力不从心。研究者设立了“文本中的视觉挑战”（VITC），评估 LLM 识别 ASCII 艺术的能力，使用了两个独特的数据集：
- VITC-S 专注于 ASCII 艺术中的单个字符，覆盖36个类别，共有8,424个样本，用以挑战 LLM 的识别能力。
- VITC-L 增加了复杂性，在10种不同字体中包含800个类别的字符序列。
从 VITC-S 到 VITC-L 的梯度有效凸显了 LLM 在 ASCII 艺术解读方面的局限性。
ArtPrompt 采用了双步骤攻击策略，通过 ASCII 文本模糊 LLM 通常过滤的安全字。第一步揭示安全字（如“炸弹”），第二步将其用 ASCII 艺术模糊化。这种方法已在五款先进的 LLM 中证明有效。
内部 AI 聊天机器人的崛起
企业正在加速部署内部和面向客户的 AI 聊天机器人，以提升生产力、降低成本和增加收入。根据波士顿咨询集团（BCG）的报告，前10%的企业已全面整合生成式 AI 应用，其中44%实现了显著的回报。而这其中，有三分之二的高效组织在生物制药、能源和保险等行业处于领先地位，而不仅仅是像亚马逊或谷歌这样的数字原生企业。
例如，一家美国能源公司为前线技工实施了一种基于生成式 AI 的对话平台，提高了7%的生产效率。同时，某生物制药公司利用生成式 AI 将药物发现周期缩短了25%。
内部聊天机器人的安全挑战
不断增长的内部聊天机器人成为重要的攻击目标，现有的安全措施难以跟上。某大型金融服务公司的首席信息安全官强调，这些聊天机器人必须具备从用户错误和疏忽中恢复的能力，并且要加强防护以抵御攻击。
Ponemon 研究所的《2023年内部风险成本报告》强调了为核心系统（包括云配置和 AI 聊天机器人）实施强大安全措施的必要性。每次攻击的平均缓解成本为720万美元，其中55% 的内部安全漏洞源于疏忽。
演变的防御策略
应对 ASCII 艺术攻击需要持续改进，以减少误报和漏报。如果检测方法不断进化，攻击者也会不断适应，持续测试 LLM 的能力极限。专家建议采用多模态防御策略，结合基于机器学习的 ASCII 艺术识别和持续监控。
网络安全供应商如思科、Ericom Security、Menlo Security、Nightfall AI、Wiz 和 Zscaler 正在开发保护 ChatGPT 会话中机密数据的方法。Zscaler 建议采用五步策略：
1. 确定一组最低限度的生成式 AI 和机器学习应用以控制风险。
2. 批准内部聊天机器人和应用的规模使用。
3. 在安全环境中为 ChatGPT 创建私人服务器实例。
4. 实施单点登录（SSO）和强大的多因素认证（MFA）。
5. 强制执行数据丢失防护（DLP）协议以防止数据泄露。
Ericom 的高级产品营销经理指出，限制对生成式 AI 工具的访问可以使员工利用节省时间的资源，同时保护敏感信息。
考虑到 ASCII 艺术的复杂性，为聊天机器人及其支持的 LLM 建立有效的防御机制至关重要。正如研究人员强调，多模态防御策略是在减轻这些不断演变的威胁方面的关键所在。
排行榜
