関連情報を除外することでLLM推論を強化する革新的技術

大規模言語モデル（LLM）は、さまざまな分野で著しい進展を遂げていますが、その推論能力は依然として活発な研究の対象です。最近の研究では、LLMの論理的問題解決能力を向上させるためのさまざまなプロンプト技法が検討されています。

Meta社の研究者による画期的なアプローチ「システム2アテンション（S2A）」は、心理学的な概念を取り入れています。S2Aは、ユーザープロンプトから誤解を招くような情報や無関係な情報を排除し、LLMがタスクに関連する情報に集中できるようにします。この集中により、質問応答や推論タスクでの精度が向上します。

初期の実験では、S2Aを利用した言語モデルが顕著な改善を示し、信頼性のある推論能力を必要とする応用にとって特に価値があることがわかりました。

LLMと推論

LLMの推論性能は一様ではありません。特定のプロンプト設計戦略を用いることで効果を高めることはできますが、無関係な情報や個人的意見を含むプロンプトに直面すると、しばしば苦戦します。たとえば、プロンプトに個人的な意見が含まれている場合、モデルはユーザーの入力に反響するだけで、正確な回答を提供できないことがあります。

この制限は、LLMで利用されるトランスフォーマーというアーキテクチャに内在する訓練と注意メカニズムに起因します。トランスフォーマーは次のトークンの予測に強く依存しており、文脈の入力に敏感です。特定の文脈でエンティティが言及されると、モデルはその再出現を予測し、繰り返しのトークンを強調する結果、出力が歪むことがあります。

システム2アテンションの理解

研究者たちは、LLMを自然言語の推論者として活用する革新的な注意メカニズムを提案しています。「私たちは、LLMが指示に従う能力を活かし、関連する情報に焦点を当てたコンテキストを生成できるように促し、推論におけるバイアスを減少させます」と彼らは説明しています。

S2Aは、指示に基づいて調整されたLLMを用いてコンテキストを修正し、不要なテキストを排除することで、モデルが反応を生成する前に関連情報を優先するよう導きます。「システム2アテンション」という名称は、心理学者ダニエル・カーネマンの著書『考える、速くて遅い』に登場するシステム1と思考システム2の概念に由来しています。システム1思考は迅速で直感的ですが、メンタルショートカットに依存するため偏りが生じることがあります。一方、システム2思考は分析的で、より多くの認知的努力を必要とし、情報を論理的に処理します。S2Aメカニズムは、LLMが推論タスクに取り組む際に生じる問題を軽減することを目的としています。

研究者たちは、「S2Aは、従来のアテンションベースのLLMと比較して、より事実に基づいた応答を生成し、バイアスを最小限に抑えます」と述べています。

S2Aの仕組み

S2A技術は、簡単な二段階のプロセスで構成されています。まず、S2Aは元のコンテキストを無関係な部分を取り除くことで修正します。次に、修正されたコンテキストが主なLLMに渡され、出力が生成されます。

初期段階の実装方法はさまざまで、研究者たちは「私たちのアプローチは、類似の推論および生成タスクに熟練した指示調整されたLLMを活用し、これを指示プロンプトとして実行できるようにします」と述べています。

指示調整されたLLMを使用することで、タスクの要件や微調整プロセスに基づいてモデルの注意を正確に制御できます。たとえば、研究者たちは、LLMに元のプロンプトに関連してS2Aタスクを実行させるゼロショットプロンプトを送信する機能を設計しました。このプロンプトは、モデルにコンテキストを再生成させ、推論手順を明確にするために有用な情報とクエリからの情報を分離するよう指示します。

また、研究者たちはS2Aのいくつかのバリエーションを導入しました。短いコンテキストや堅牢なLLMでは、コンテキストと質問を分割する必要がない場合もあります。その場合、分割されていないリライトを促すだけで十分です。別のバリエーションでは、元のプロンプトを保持しつつS2Aによって生成されたクエリを追加し、モデルが両方のバージョンにアクセスできるようにします。

研究者たちは、質問応答、長文推論、無関係または誤解を招く情報を含む数学問題など、さまざまなタスクに対してS2Aをテストしました。S2Aは、モデルが最も正確な回答を導き出せるデータに依存するようガイドすることで、客観的な質問への回答を目指しています。

結果と今後の展望

実験では、S2Aが意見のバイアスに強く、LLMが気を散らさないクリーンなプロンプトが与えられたときとほぼ同じ成果を示すことが確認されました。さらに、S2Aを備えたLLMは、長文生成タスクにおいても客観性が向上しています。

しかし、研究者たちはS2Aが完全無欠ではないことも認めており、モデルは依然として無関係な相関に影響を受ける可能性があります。さらに、S2Aは応答生成の計算コストを増加させるため、余分な手順や文脈情報の抽出が必要です。これらの要素は将来の改善の領域を明確にし、LLMアプリケーション向けの推論技術のツールキットにS2Aが貴重な追加として位置づけられることを示しています。