Databricks、複合AIシステムの開発と評価を支援する新ツールでMosaic AIを強化

DatabricksのモザイクAIプラットフォームが企業向け生成AI開発ツールを強化

Databricksは、CEOアリ・ゴッジによる年次データおよびAIカンファレンスで、モザイクAIプラットフォームに大幅な強化を加え、企業が大規模言語モデル（LLM）を活用するアプリケーションを効果的に展開できるようサポートしています。これらのアップグレードは、企業の生成AIアプリケーション開発の能力を向上させることを目的としています。

モザイクAIプラットフォームは、Databricksによる13億ドルのMosaicML買収から生まれたもので、生成AIの活用を促進し、AIアプリケーションの開発を円滑にします。最新の機能は主に次の3つの領域に集中しています：1. 複合AIシステムの構築、2. 様々な指標による評価、3. AIパイプライン全体のガバナンスの確保です。

この強力なエンドツーエンドエコシステムは、企業が自社のデータを活用し、信頼性の高い生成AIアプリケーションを構築するための基盤を提供します。また、Databricksは、Snowflakeなどの競合に対抗し、最近の企業向けオープンLLM「Arctic」を含む生成AIの製品展開を強化しています。

新機能：DatabricksモザイクAIの強化

生成AIに期待を寄せる企業は、内部データを活用したアプリケーションの開発に意欲的ですが、多くのチームは大規模モデルから期待する投資収益を得るのに苦労しています。高品質な成果物を予算やプライバシーの制約の中で提供するのは容易ではありません。

これらの課題を解決するため、企業はさまざまな小さなモデル、リトリーバー、ベクトルデータベース、評価ツールを統合した検索強化生成（RAG）に基づく複合AIシステムを採用する傾向が高まっています。Databricksは、これらの高度なシステムの構築を支援するために、モザイクAIを強化しました。

最近、Databricksはサーバーレスのベクトルデータベース「Vector AI Search」をプラットフォームに統合しました。また、モザイクAIモデルのトレーニング機能やエージェントフレームワークも新たに追加されました。モデルのトレーニング機能は、ユーザーフレンドリーなAPIやインターフェースを通じて、小規模なオープンソースモデルをファインチューニングし、特定のタスクに最適化することができます。一方、エージェントフレームワークは、モザイクAIベクトル検索やモデルサービングと組み合わせることで、品質の高いRAGアプリケーションを実現します。

「エージェントフレームワークは、アプリケーションの品質を測定・評価するプロセスを簡素化します」と、DatabricksのプロダクトマーケティングVPジョエル・ミニックは説明します。「独自のAI支援評価ツールを含み、出力の品質を自動的に評価し、ステークホルダーからのフィードバックを得られる直感的なトレーシングUIも提供しています。これにより、開発者は仮説を検証し、迅速に反復し、エンドツーエンドのLLMOpsワークフロー内でアプリケーションを再展開できます。」

また、このプラットフォームには「AIツールカタログ」が備わっており、企業はDatabricks Unity Catalogを通じてツールの管理や共有、登録が行えます。このカタログは、知的コード生成やウェブ検索、API呼び出しなどの機能を提供し、複合AIシステムを強化します。Unity Catalog内で登録されたPythonまたはSQL関数はすべて、モザイクAIツールカタログと互換性があり、出力の品質を向上させます。

モザイクAIゲートウェイによる強化されたガバナンス

AIアプリケーションの堅牢なガバナンスと信頼性を確保するため、Databricksは「モザイクAIゲートウェイ」を導入しました。このツールは、オープンソースと独自モデルの両方を統合的に管理し、アプリケーションのコードを大幅に変更することなくLLMを切り替えることを可能にします。

AIゲートウェイには、使用状況の追跡やガードレールを備えたガバナンスおよび監視機能が搭載されています。これにより、モデルの使用状況を監視し、コストを管理するための使用制限を設定できます。また、安全性や個人情報を保護します。

モザイクAIの新機能は、AIツールカタログを除いてすべてパブリックプレビュー中で、今後数ヶ月以内に一般提供予定です。AIツールカタログはプライベートプレビューで、広くリリースされるタイムラインは未発表です。さらに、Databricksは、生成AIによる分析を支援する「Databricks AI/BI」、データエンジニアリング用の「Databricks LakeFlow」、Shutterstockと共同開発した特化型画像生成モデルなど、他の注目製品を発表しました。

DatabricksデータとAIサミットは2024年6月10日から6月13日まで開催されます。