AI21がJamba 1.5を発表：高度なエージェントAI機能を実現するハイブリッドSSMトランスフォーマーモデルの強化

トランスフォーマーは生成AIの重要な要素ですが、モデル開発の唯一の方法ではありません。AI21は、本日、トランスフォーマーと構造化ステートスペース（SSM）モデルのアプローチを統合した新しいJambaモデルのバージョンを発表しました。Jamba 1.5のミニ版とラージ版は、3月に導入されたJamba 1.0の革新を強化しています。Mambaと呼ばれるSSM手法を使用して、JambaはトランスフォーマーとSSMの強みを融合させることを目指しています。「Jamba」という名前は、Joint Attention（共同注意）とMambaアーキテクチャを意味しており、単独のモデルを超えた性能と精度の向上を約束しています。

AI21のプロダクトVPであるオール・ダガン氏は、「コミュニティから素晴らしいフィードバックをいただきました。これはMambaに基づいた最初の、そして現在でも数少ない生産規模のモデルです」と述べています。「この新しいアーキテクチャは、LLMアーキテクチャの未来やトランスフォーマーの役割についての議論を引き起こしました。」

Jamba 1.5Siriーズは、エージェンティックAIシステムの開発に最適なモデルとして位置づけられる機能を強化しています。新機能には、関数呼び出し、JSONモード、構造化ドキュメントオブジェクト、および引用モードが含まれています。両モデルは、256Kの広範なコンテクストウィンドウを持ち、Mixture-of-Experts（MoE）アーキテクチャを採用しています。Jamba 1.5ミニは520億の総パラメータ（アクティブ12億）、Jamba 1.5ラージは3980億の総パラメータ（アクティブ94億）を誇ります。

これらのモデルはオープンライセンスで提供され、AI21は商業サポートおよびサービスを提供しています。同社はAWS、Google Cloud、Microsoft Azure、Snowflake、Databricks、Nvidiaとのパートナーシップを確立しています。

Jamba 1.5の新機能：エージェンティックAIの加速

Jamba 1.5ミニ版とラージ版は、AI開発者の進化するニーズに応えるためのいくつかの新機能を備えています：

- 効率的な構造データ処理のためのJSONモード

- 責任を高めるための引用機能

- コンテキスト管理を改善するドキュメントAPI

- 関数呼び出し機能

ダガン氏によると、これらの強化機能はエージェンティックAIシステムを向上させるために重要です。JSON（JavaScript Object Notation）は幅広く使用されており、その包含は複雑なAI構成における明確な入出力関係を促進し、基本的な言語モデルの利用を超えたものとなります。引用機能は、新しいドキュメントAPIと連携して機能します。「モデルに生成中に提供されたドキュメントに関連する内容を帰属させるよう教えています」とダガン氏は説明しています。

引用モードとRAGの違い

引用モードとRetrieval Augmented Generation（RAG）は、どちらもAIの出力を信頼できるデータに基づけることを目的としていますが、明確に区別することが重要です。ダガン氏は、「Jamba 1.5の引用モードはドキュメントAPIとのシームレスな統合に向けて設計されており、従来のRAGに比べてより包括的なアプローチを提供します」と説明します。標準のRAG設定では、開発者は言語モデルをベクトルデータベースに接続し、モデルが取得したデータを効果的に出力に組み込む必要があります。

対照的に、Jamba 1.5の引用モードはモデル自体に内在しており、情報源を明示的に取得、統合、引用することができるため、従来のLLMワークフローに比べて透明性と追従性が向上します。AI21はRAGソリューションもサポートし、ドキュメントの回収とインデクシングを含むエンドツーエンドのマネージドサービスを提供しています。

今後の展望について、ダガン氏は顧客ニーズに応えるモデルの進化に対するAI21のコミットメントを強調し、「特に計画と実行に関して、エージェンティックAIシステムでの革新の必要性を認識しています」と述べました。