Databricksが新ツールを発表 - 高品質RAGアプリケーションの作成を加速

本日、Databricksはデータインテリジェンスプラットフォーム内に新しいリトリーバル拡張生成（RAG）ツールを発表しました。これらのツールは、さまざまな業務ニーズに合わせた高品質な大規模言語モデル（LLM）アプリケーションの構築、展開、および維持を支援することを目的としています。

現在、公開プレビュー中のこれらのツールは、生産-ready RAGアプリケーションの開発における重要な課題に取り組みます。これにより、さまざまなソースからのリアルタイムビジネスデータと適切なモデルとの統合プロセスが簡素化され、LLMに共通する問題である有害コンテンツの監視も効果的に行えるようになります。DatabricksのAI/ML製品シニアディレクター、クレイグ・ワイリーは、「組織は、一貫して正確で高品質な応答を生成しつつ、望ましくない出力を防ぐガードレールを実装することが困難だと感じています。」とこの開発の緊急性を強調しました。

RAGの理解とその課題

LLMの人気が高まる中、多くの既存モデルはパラメータに依存しており、特に内部ビジネスのニーズに対して、最新のコンテキスト特有な応答を提供する能力が制限されています。リトリーバル拡張生成（RAG）は、特定のデータソースを活用することで、モデルの応答の正確性と信頼性を向上させることを目指しています。たとえば、HRデータに基づいてトレーニングを受けたモデルは、従業員のさまざまな問い合わせをサポートできます。

RAGには、複数のデータソースからの構造化データと非構造化データの収集・準備、モデル選択、プロンプトエンジニアリング、継続的な監視など、いくつかの複雑なタスクが含まれます。この断片的なアプローチにより、RAGアプリケーションが十分に機能しないことが多くあります。

Databricksの先進的アプローチ

Databricksの新しいRAGツールは、さまざまなプロセスを統合し、チームが迅速に質の高いRAGアプリケーションをプロトタイプ化・展開できるようにします。ベクトルサーチやフィーチャーサービングなどの機能により、冗長なデータパイプラインの構築が不要になり、Deltaテーブルからの構造化データと非構造化データがLLMアプリケーションとシームレスに同期され、正確でコンテキストに応じた応答に必要な最新かつ関連性のあるビジネス情報にアクセスできるようになります。

データブリックスの共同創業者でありエンジニアリングVPのパトリック・ウェンデルと、ニューラルネットワークのCTOであるハンリン・タンが強調したように、「ユニティカタログはオフラインおよびオンラインデータセット間の系譜を自動的に追跡し、データ品質の問題を簡素化し、より良いデータガバナンスのためにアクセス制御設定を強化します。」

さらに、開発者は統合されたAIプレイグラウンドおよびMLFlow評価を活用して、Azure OpenAI ServiceやAWS Bedrock、オープンソースのLlama 2やMPTなど、さまざまなプロバイダーからのモデルを評価できます。この柔軟性により、チームは最高のパフォーマンスとコスト効率の良いモデルでプロジェクトを展開し、改善されたソリューションが利用可能になるたびにピボットが可能です。

高度な監視機能

RAGアプリケーションを展開した後は、そのパフォーマンスをスケールで監視することが重要です。Databricksは、アプリケーションの応答を自動的にスキャンして有害コンテンツや幻覚などの危険な内容を検出する、フルマネージドのレイクハウス監視機能を提供しています。これにより、チームは迅速に是正措置を講じることができます。この機能はモデルとデータセットの系譜に統合されており、エラーとその原因を迅速に特定することを容易にします。

早期導入の成功

新しいツールはまだ導入されたばかりですが、RVサプライヤーのLippertやEQT Corporationなどの企業がすでにDatabricksのデータインテリジェンスプラットフォーム内でその能力をテストしています。LippertのデータとAIの担当者であるクリス・ニッシュニックは、「Databricksは、さまざまなコンテンツソースを私たちのベクトルサーチに統合することで、コールセンターの運営を向上させ、エージェントが必要な知識を手元に持つことを可能にします。この革新的なアプローチは、効率と顧客サポートを大幅に向上させます。」と述べました。

社内でも、DatabricksはRAGアプリケーションを展開しています。ワイリーによれば、同社のITチームはアカウントエグゼクティブ用のRAG Slackbotと、営業開発担当者用のブラウザプラグインを試験運用中です。

専門的なLLMアプリケーションの需要が高まる中、DatabricksはそのRAGツールのスイートに大きな投資をする計画です。その目標は、お客様が高品質なLLMアプリケーションを大規模に展開できるように支援し、今後の研究と革新に対するコミットメントを持ち続けることです。