大規模言語モデルの神話を解明する：その能力と限界を理解する

2023年、ChatGPTは技術革新を引き起こし、シンプルなインタラクティブAIエージェントから、文書のインデックス作成、データソースへの接続、そしてデータ分析を1文で行うまで急速に進化しました。大規模言語モデル（LLM）の展開に関する多くの約束が果たされない理由は、次の通りです：

- AIエージェントを構築しているのであり、LLMではありません。

- 研究に注力しすぎて、エンジニアリングがおろそかになっています。

- 質の悪いデータがあふれています。

この記事では、AIエージェントがLLMとバックエンドシステムを統合する役割、次世代のユーザーインターフェースおよびユーザーエクスペリエンス（UI/UX）としてのAIエージェントの可能性、そして今日しばしば見落とされがちな基本的なソフトウェアエンジニアリングの原則を再考する必要性について探ります。

20分でピザを注文したい

LLMは、従来のポイント＆クリックインターフェースに比べて、より直感的で洗練されたUI/UXを提供します。たとえば、「20分でグルメマルゲリータピザを届けて」とデリバリーアプリで注文する場合を考えてみましょう。

従来のUI/UXでは、この簡単に思えるリクエストを満たすために、多くの複雑なステップが必要で、数分かかることがあります。次のような手順が必要になり得ます：

- 「ピザ」カテゴリーを選択する。

- レストランのリストや写真を閲覧する。

- マルゲリータピザのメニューを確認する。

- 配達のスピードを確認する。

- 条件に合わない場合は戻る。

LLMだけでは不十分

GPT-3のようなLLMは自然言語処理（NLP）や文脈に即した一貫性のある応答生成に優れていますが、外部データソース、アルゴリズム、および専門的なインターフェースと統合されることで、その能力は大幅に拡張します。この統合により、現在のLLMだけでは実行できないタスクが可能になります。

ピザの注文の例を挙げると、レストランのデータベース、在庫管理、配達追跡など、さまざまなシステムへの接続が必要です。多様なリクエストにスムーズに応えるためには、さらなる統合が不可欠です。LLM単体ではこの複雑さを管理できません。

AIエージェント

LLMはAIエージェントの基盤を形成しています。さまざまなクエリに対応するために、AIエージェントはLLMとともにいくつかの重要な補助コンポーネントを活用します：

- エージェントコア: LLMを使用して全体の機能を調整します。

- メモリモジュール: コンテキストを考慮した意思決定をサポートします。

- プランナー: 利用可能なツールに基づいてエージェントの行動を決定します。

- ツールとリソース: 特定のドメインをサポートし、効果的なデータ処理、推論、および応答生成を可能にします。これにはデータソース、アルゴリズム、可視化が含まれます。

このホワイトペーパーでは、AIエージェントとそのコンポーネントの包括的な概要を提供します。

LLMベースのAIエージェント統合：エンジニアリングの課題

自然言語はソフトウェア開発におけるケースの仕様を簡素化しますが、その曖昧さは不明確なシステムを生む原因ともなります。フレッド・ブルックスの名著『神話の man-month』では、LLMの時代に見落とされている基本的なソフトウェアエンジニアリングの原則が示されています：

- シルバーバレットはない: LLMの使用を含め、優れたソフトウェアエンジニアリングの実践に代わる単一の開発手法は存在しません。

- 手動および正式なドキュメント作成: 偏見が蔓延する現代では、ドキュメント作成が不可欠です。「20分でグルメマルゲリータピザを注文する」というリクエストだけでは不十分であり、多様なユースケース、バックエンド要件、新しい可視化、そしてシステムの限界に関する包括的なドキュメントが求められます。＜アプローチの一部として「こうしたもの」という曖昧な表現が一般的になり、システムの接続やデータの可視化の複雑さが無視されています。

（ブルックスの原則の詳細は、Zscalerブログをご覧ください。）

最近のホワイトペーパーでは、適切なソフトウェアシステム仕様の欠如を指摘し、LLMベースのインテリジェントシステムに対し、健全なソフトウェアエンジニアリングの原則に基づいた正式な仕様を作成するためのフレームワークを提供しています。

質の悪いデータの課題

LLMベースのAIエージェントが効果的に機能するためには、正式なデータの整備と執筆手法が重要です。LLMシステムは高品質なドキュメントに依存しています。OpenAIは、著作権のあるテキストを利用しなければAIモデルの訓練が「不可能」であると強調しており、良質なテキストの大量の確保が必要です。

この必要性はRAGベースの技術でも強調されます。ドキュメントチャンクがベクターデータベースにインデックスされる際、ユーザーが質問をすると、上位ランクのドキュメントが生成LLMに返され、一貫した回答が形成されます。

結論

LLMに関する多くの約束が存在する一方で、その実現はわずかです。これらの約束を現実に変えるためには、単なるプロトタイプではなく、複雑なソフトウェアエンジニアリングシステムを開発していることを認識する必要があります。

LLMベースのインテリジェントシステムの設計は重大な複雑さをもたらします。適切な仕様とテストプロトコルを確立し、データを中心的な要素として位置づけなければなりません。これらのシステムは特に質の低いデータに敏感であるため、その重要性が高まります。