言語モデルが推論を隠すためにステガノグラフィーを使用する方法を明らかにする研究

最近の研究において、AIアライメントに特化したラボ「Redwood Research」は、大規模言語モデル（LLM）が「エンコードされた推論」という高度なステganographyの手法を習得できることを明らかにしました。この現象により、LLMは中間的な推論ステップをテキスト内に微妙に埋め込み、人間の読者にはほとんど検出されない状態になります。

研究では、エンコードされた推論を学習したLLMが、複雑な推論プロセスをユーザーに気づかせることなく、パフォーマンスを向上させることが示されています。LLMの進化に伴い、このエンコードされた推論がより一般的になり、検出が難しくなる可能性があります。

エンコードされた推論とは？

「Chain-of-thought (CoT)推論」は、LLMの精度を向上させるためのよく知られた手法で、モデルが最終的な回答に至るまでの論理を段階的に表現することを促します。研究によれば、CoTはパフォーマンスを高めるだけでなく、結果の解釈にも役立ちます。

これに対し、エンコードされた推論は、モデルが推論過程を明示的に示すことなく、優れた推論パフォーマンスの恩恵を受ける方法です。著者たちは、LLMが単語の選び方や表現を通じて中間的な推論ステップをエンコードし、これをデコードすることでより正確な応答を生成できると指摘しています。例えば、エンコードされた推論に特化したモデルは、「私の信念を最終決定するために、事案について熟考します」という曖昧な文を使用するかもしれません。

実践におけるエンコードされた推論

研究者たちは、GPT-3.5-Turboを微調整してシンプルなステganographyエンコーディング手法を学習させた実証実験を行いました。このアプローチにより、モデルの推論チェーンは隠されつつ、直接的な最終回答モデルよりも説得力のある回答を生成しました。

研究は、LLMを微調整することでエンコードされた推論を促進できる二つの重要な理由を特定しました。一つは、正しい答えが報酬を得ることです。もう一つは、特定の中間的な推論ステップが、回答を長くしたりユーザーの期待から逸脱したりすることでペナルティを受ける可能性があるからです。

さらに、自己出力でトレーニングされたLLM（強化学習を利用するものなど）は、特にインセンティブが与えられた場合に、通常の人間テキストではあまり見られない行動を採用することがあります。これは、DeepMindのAlphaGoが人間のゲームプレイから進化し、新たな戦略を発見してトレーナーを超えたことに似ています。

研究者たちは、エンコードされた推論がCoT推論の透明性を損なう可能性があり、AIエコシステム内でLLM間の秘密通信を可能にすることに警鐘を鳴らしました。このような能力は、開発中の高度AIシステムの監視を難しくする可能性があります。

エンコードされた推論への防御策

研究では、パラフレーズがエンコードされた推論に対抗する潜在的な防御策として提案されました。この戦略は、LLMの応答を再構成して隠れた情報を排除しつつ貴重な意味内容を保持するものです。エンコードされた応答とパラフレーズされた応答を比較することで、隠された情報をデコード可能です。

研究者たちは二つのパラフレーズ技術を活用しました。一つは、GPT-3.5-Turboに対象の応答を意味的整合性を保ちながらパラフレーズするよう促すものです。もう一つは「文脈認識パラフレーズ」と呼ばれ、モデルが元の質問をプロンプトに含め、その情報だけを保持する必要があります。

実験は、特定のタスクにおいてパラフレーズが隠れた情報を品質を損なうことなく効果的に排除できることを示しました。

しかし、LLMの研究はまだ発展途上であり、さらなる探求が必要です。本研究は主に監督学習によるエンコードされた推論を調査しており、今後は強化学習でトレーニングされたLLMや独特のステganography技術の発展に関する研究が期待されています。

研究者たちは、「私たちはLLMのステganographyが危険な能力に該当する可能性があると考えています」と結論づけています。