ASCIIアートによる内部AIチャットボットハッキングの脅威：セキュリティチームの最悪の悪夢

内部脅威：AIチャットボットのリスク

内部脅威は、企業の重要なシステムや資産を危険にさらす最も深刻なサイバー攻撃の一つです。企業が新しい内部および顧客向けのAIチャットボットを急速に導入する中で、無意識のうちに新たな攻撃経路とリスクを開放しています。

AIチャットボットの脆弱性

最近の研究「ArtPrompt: ASCIIアートに基づく整合性のある大規模言語モデルに対する脱獄攻撃」では、AIシステムの脆弱性が明らかになりました。研究者たちは、OpenAIのChatGPT-3.5、GPT-4、Gemini、Claude、MetaのLlama2を含む5つの最先端（SOTA）大規模言語モデル（LLM）を、ASCIIアートを用いて成功裏に脱獄させました。

ArtPromptは、LLMがASCIIアートを解釈するのが困難であることを利用しており、攻撃者がセキュリティ対策を回避できるようにします。この攻撃は、対象のLLMに対する限られたアクセスで実行可能で、成功するために必要な試行回数も少なくて済みます。

ASCIIアートの脆弱性を理解する

LLMは意味的な解釈に優れていますが、複雑な空間や視覚の認識には苦労しています。研究者たちは、ASCIIアートが脱獄に効果的である理由を検証するために、LLMがASCIIアートを認識する能力を評価するための基準「Vision-in-Text Challenge（VITC）」を設けました。

- VITC-Sは、ASCIIアートの単一文字に焦点を当て、36のクラスで8,424のサンプルを用意し、LLMの認識スキルを試すことを目的としています。

- VITC-Lは複雑さを増し、10種類の異なるフォントで800のクラスの文字列を特徴としています。

このように、VITC-SからVITC-Lへの移行は、ASCIIアートの解釈に関するLLMの限界を効果的に浮き彫りにしています。

ArtPromptは、ASCIIテキストを利用して通常LLMがフィルタリングする安全語を隠す二段階の攻撃戦略を採用しています。第一段階では「爆弾」のような安全語を明示し、第二段階ではそれをASCIIアートで隠します。この手法は、5つのSOTA LLMで効果を示しています。

内部AIチャットボットの増加

企業は内部及び顧客向けAIチャットボットの導入を加速させ、生産性、コスト効率、収益の向上を目指しています。ボストンコンサルティンググループ（BCG）の報告によると、企業の上位10%は生成AIアプリケーションを完全に統合しており、44%がスケーラブルな予測AIからの顕著なリターンを享受しています。特に、バイオ医薬品、エネルギー、保険などの業界でこれらの優れた企業が目立っています。

例えば、米国のエネルギー企業は、フロントラインの技術者向けに生成AI駆動の会話型プラットフォームを導入し、生産性を7%向上させました。その他、バイオ医薬品企業は生成AIを活用して、薬の発見時間を25%短縮することに成功しました。

内部チャットボットのセキュリティ上の課題

急増する内部チャットボットは、攻撃の対象面を大きくし、セキュリティ対策が追いついていない現状です。大手金融サービス企業のCISOは、これらのチャットボットはユーザーのエラーや不注意から復元できるよう設計されるべきであり、同時に攻撃から防御するための強化が必要だと強調しています。

ポネモンインスティテュートの2023年「内部リスクのコスト」報告書は、クラウド設定やAIチャットボットを含むコアシステムのための頑丈なセキュリティ対策の必要性を強調しています。攻撃を緩和するためのコストは、平均して1件あたり720万ドルにのぼり、不注意が内部セキュリティ違反の55%を占めています。

防御戦略の進化

ASCIIアート攻撃に対処するためには、誤検出を最小限に抑えるための反復的な改善が必要です。検知手法が進化すれば、攻撃者も適応し続け、LLMの能力の限界を試みます。専門家は、ASCIIアートの機械学習に基づく認識を取り入れたマルチモーダルな防御戦略を提唱しています。

サイバーセキュリティのベンダーであるCisco、Ericom Security、Menlo Security、Nightfall AI、Wiz、Zscalerなどが、ChatGPTセッション中に機密データを保護する方法を開発しています。Zscalerは以下の五つのステップを推奨しています：

1. リスクを制御するための生成AIおよび機械学習アプリケーションの最小セットを定義する。

2. 内部チャットボットとアプリケーションのスケール使用を承認する。

3. セキュアな環境でChatGPT用のプライベートサーバーインスタンスを作成する。

4. 強固な多要素認証（MFA）を備えたシングルサインオン（SSO）を実装する。

5. データ漏洩を防ぐためのデータ損失防止（DLP）プロトコルを施行する。

Ericomのシニアプロダクトマーケティングマネージャーは、生成AIツールへのアクセスを分離することで、従業員が貴重なリソースを利用しつつ機密情報を保護できる可能性があると指摘しています。

ASCIIアートの複雑な性質を考慮すると、これらの攻撃に対して効果的な防御を確立することは、チャットボット及びそれを支えるLLMにとって不可欠です。研究者の強調するように、マルチモーダルな防御戦略が、進化する脅威を軽減する上で重要です。