Qdrant: コスト効率の高いベクトルデータベースRAGソリューションの実現

Home AIニュース Qdrant: コスト効率の高いベクトルデータベースRAGソリューションの実現

企業がリトリーバル拡張生成（RAG）システムの導入を進める中で、このプロセスを強化するための革新的な手法が登場しています。ベクターデータベースの企業であるQdrantは、新たに開発した検索アルゴリズムBM42がRAGの効率性とコスト効果を大幅に向上させると信じています。

Qdrantは2021年に設立され、BM42を通じてセマンティック検索とキーワード検索を組み合わせたハイブリッド検索機能を強化することを目指しました。Qdrantの共同創業者兼CTOであるアンドレイ・ヴァズネツォフ氏は、BM42が広く使用されているBM25アルゴリズムのアップデートであり、検索クエリにおける文書の関連性を評価すると説明しました。従来のシステムはBM25を用いますが、RAGはデータを数学的なベクトルとして表現するベクターデータベースを使用し、データのマッチングを簡素化します。

ヴァズネツォフ氏は、「従来のキーワードマッチングアルゴリズムであるBM25は、十分なサイズの文書で統計を生成できると仮定しています。しかし、RAGは小さな情報チャンクで作業するため、BM25では不十分です」と述べています。BM42は、文書から関連情報を抽出するために言語モデルを使用し、生成された埋め込みではなく、抽出したデータをトークン化しスコアリングします。これにより、Qdrantは特定のクエリに対する必要な情報を正確に特定できます。

ハイブリッド検索はさまざまな改善の可能性を秘めています。BM42はBM25を超えてハイブリッドリサーチやRAGアプリケーションの効率化を目指す唯一の進化ではありません。スプラッド（Sparse Lexical and Expansion model）もそのひとつで、検索クエリと関連文書の間で異なる可能性のある関連用語を取り入れながら、単語間の関係を認識できる事前学習された言語モデルを使用します。

一部のベクターデータベース企業はスプラッドを利用していますが、ヴァズネツォフ氏はBM42がよりコスト効果の高いソリューションを提供することを主張しています。「スプラッドはモデルの大きさと計算要件から非常に高価になりがちです」と述べています。

RAGは企業AIの焦点として急速に台頭しており、組織は自社のデータを活用するために生成AIモデルを利用しようとしています。RAGを活用することで、企業は従業員やユーザーに対し、組織内のデータから得られたより正確でタイムリーな情報を提供できます。

Microsoftやアマゾンといった主要プレイヤーが、RAGアプリケーションの構築に最適化されたクラウドコンピューティングインフラを提供しています。また、OpenAIはRAG機能を強化するために6月にRocksetを買収しました。

RAGはユーザーがAIモデルの出力を企業データに接続できる一方で、依然として言語モデルであり、時折「幻覚」と呼ばれる不正確性にさらされることに注意が必要です。

次世代AI技術が変革する従業員の日常業務の効率化

真のエンタープライズAIオペレーティングシステムが革新をもたらす理由（VB Transform 2024で詳細を発見）