企業がエージェント型未来を追求する中で、AIモデルのアーキテクチャが大きな課題となっています。AI21のCEO、オリ・ゴシェンは、エフィシエントなAIエージェントを作成するためには、代替モデルアーキテクチャの必要性を強調しています。現在主流のトランスフォーマーモデルには限界があり、マルチエージェントエコシステムの構築を妨げています。
最近のインタビューでゴシェンは、トランスフォーマーアーキテクチャの欠点について指摘しました。長いコンテキストを扱う際に計算負荷が増加し、パフォーマンスが低下しコストが上昇するという問題です。「エージェントは、各ステップで大規模なコンテキストを持つLLMへの複数の呼び出しを必要とし、トランスフォーマーがボトルネックになっています」と彼は述べました。
AI21は、より柔軟なアプローチを提唱しており、トランスフォーマーは選択肢として有効であるが、デフォルトではないべきだと考えています。同社の新しいJAMBAアーキテクチャ（Joint Attention and Mambaの略）は、プリンストン大学とカーネギーメロン大学の研究者によって開発されたMambaフレームワークを活用し、推論速度を向上させ、コンテキストの能力を拡張します。
ゴシェンによれば、Mambaベースのモデルはメモリ性能を向上させ、他のモデルとの統合を特に強化する機能をサポートします。最近のAIエージェントの人気急増は、トランスフォーマーで構築されたLLMの限界に起因しています。「エージェントがまだ開発段階にあり、広く実用化されていない主な理由は信頼性です。LLMは本質的に確率的であるため、必要な信頼性を確保するためには追加の措置が必要です」と彼は述べました。
今年、AIエージェントは企業向けAIの急成長トレンドとして浮上し、いくつかの企業がエージェント開発用の新しいプラットフォームを発表しています。例えば、ServiceNowはNow Assist AIプラットフォームをアップグレードし、AIエージェントのライブラリを追加しました。また、SalesforceはAgentforceを導入し、SlackはSalesforceやCohere、Adobeを含む様々な企業のエージェントの統合をサポートしています。
ゴシェンは、適切なモデルとアーキテクチャの組み合わせがあれば、AIエージェントへの関心は高まると考えています。「現在のユースケースは、チャットボットのQ&A機能など、主に強化された検索に似ています。本当のインテリジェンスは、さまざまな情報源から多様な情報をつなぎ、取得できる能力にあります」とコメントしました。AI21は、この需要に応えるため、AIエージェントに関する開発を進めています。
Mambaアーキテクチャが注目を集める中で、ゴシェンはその支持者として、トランスフォーマーのコストと複雑さが実用上のアプリケーションを減少させると主張しています。トランスフォーマーは固定された注意メカニズムに依存していますが、Mambaはメモリ使用の最適化とGPU処理パワーの効果的な活用に焦点を当てています。
Mambaの需要は高まっており、他の開発者もMambaベースのモデル、例えばMistralのCodestral Mamba 7BやFalconのFalcon Mamba 7Bを発表しています。それでも、トランスフォーマーはOpenAIの成功したGPTを含む基盤モデルの標準選択肢として依然として支配的です。
最終的に、ゴシェンは企業が特定のアーキテクチャよりも信頼性を優先していると述べています。しかし、組織は包括的なソリューションを約束する魅力的なデモに対して慎重であるべきです。「現在は魅力的なデモが多く存在しますが、まだ実際の製品フェーズへの移行途中です」と彼は警告しました。「企業向けAIは研究には価値がありますが、重要なビジネス決定を下すにはまだ準備が整っていません。」
ランキング
