Snowflake、データクラウドのリーダーは、AI21 LabsのJamba-Instruct LLMをそのCortex AIサービスに正式に統合しました。この新機能は、Snowflakeの企業クライアントが高品質で正確な生成AIアプリケーション(チャットボットや要約ツールなど)を効率的に開発する手助けをすることを目的としています。特に、大規模なドキュメントを効果的に処理するために設計されています。
今日から、Jamba-Instructモデルを活用することで、企業は膨大なファイルを扱うことが可能になります。AI21 Labsは重要なパートナーですが、Snowflakeは様々なLLM(大規模言語モデル)と協力し、生成AIエコシステムの強化を図っています。最近では、Metaと提携し、Llama 3.1 LLMファミリーを統合したり、独自のモデル「Arctic」を立ち上げたりするなど、生成AI分野での急成長を反映しています。
Jamba-Instructの利点
3月にAI21 Labsは、トランスフォーマーアーキテクチャと新しいメモリ効率の良い構造状態空間モデル(SSM)を組み合わせたオープン生成AIモデル「Jamba」を発表しました。Jambaは256Kのコンテキストウィンドウを提供し、長いコンテキストでのスループットを3倍向上させる効率性が際立っています。この効率を基に、指示調整されたJamba-Instructが開発され、高度なトレーニング、チャット機能、企業アプリケーション向けの安全機能が備わっています。
5月にAI21のプラットフォームでローンチされたJamba-Instructは、Snowflakeのコード不要の完全管理型サービスCortex AIに組み込まれました。SnowflakeのAI部門の責任者バリス・ギュルテキンは、「Jamba-Instructは最大256Kトークン(約800ページのテキスト)を処理できるため、大規模なドキュメント管理において貴重なツールとなります」と述べています。
金融アナリストは長大な10-K申告書から洞察を引き出すためのQ&Aツールを利用でき、臨床医は関連データを迅速に分析するために患者の詳細な報告書を扱うことができます。また、小売業者は顧客との一貫性のある対話を維持できるチャットボットを作成することが可能です。
ギュルテキンは、モデルの広範なコンテキストウィンドウが、情報検索を効率化し、コンテンツ生成中の特定のトーンに応じたガイドプロンプトをサポートするためのリトリーバル増強生成(RAG)パイプラインの構築を簡素化すると強調しました。
コスト効率
Jamba-Instructは、その長大なドキュメント処理能力に加えて、Snowflakeの顧客にとって大きなコスト削減効果を提供します。モデルのハイブリッド設計と専門家の混合(MoE)技術により、その広範なコンテキストウィンドウは他の指示調整されたトランスフォーマーモデルに比べてより経済的に利用可能です。Cortex AIのサーバーレス推論と使用ベースの価格モデルにより、企業は使用したリソースに対してのみ支払うため、高額な専用インフラを必要としません。
「組織は、SnowflakeのスケーラビリティとJamba-Instructの効率性を活用することで、パフォーマンス、コスト、レイテンシのバランスを効果的に保つことができます。Cortex AIのアーキテクチャは、計算リソースのシームレスなスケーリングを可能にします」とAI21 Labs北米担当SVP兼GMのパンカジ・デューガルは説明しています。
現在、Cortex AIはSnowflakeのArcticモデルやGoogle、Meta、Mistral AI、Reka AIの製品など、さまざまなLLMをサポートしています。「私たちは、お客様にオープンソースモデルと商用モデルの間で選択する柔軟性を提供し、それぞれのニーズに応じてデータガバナンスを複雑にすることなく対応しています」とギュルテキンは付け加えました。
モデルの選択肢は増加する見込みで、特にAI21から新たなオプションが今後数ヶ月内に登場する予定です。ギュルテキンは、顧客フィードバックがLLMの評価と統合に極めて重要であり、自動化されたビジネスインテリジェンス、会話型アシスタント、テキスト要約などのさまざまなユースケースに対して適切なツールが利用可能であることを確認していると強調しました。
Snowflakeは最近、モデル選択肢の拡大をサポートするためにTruEraを買収しました。ギュルテキンは、TruEraのTruLensによりユーザーがLLMを実験し、自身のニーズに最適なモデルを評価できることを述べました。
今日、5,000以上の企業がSnowflakeのAI機能を利用しており、自動化されたBI、会話型アシスタント、テキスト要約などの主要なアプリケーションに重点を置いています。