RocksetのAI機能強化：最適化されたベクターデータベース検索を実現

Rocksetのリアルタイムデータベース機能が向上：ベクトル検索とスケーラビリティの強化

リアルタイムデータベースベンダーであるRocksetは、先進的なベクトル検索機能とスケーラビリティを向上させた新しいデータベースの能力を発表しました。Meta（旧Facebook）が開発したオープンソースのRocksDBキーバリューストアを基に設立されたRocksetは、リアルタイムインデクシング技術を利用した進化するテクノロジーを採用しています。これまでに1億500万ドルの資金を調達しており、最近では8月に4400万ドルの資金調達を行いました。

今回のアップデートにより、Rocksetはリアルタイムデータベースプラットフォーム内でベクトル検索機能を正式に展開しました。この機能は4月に初めて披露され、その後数ヶ月で大幅な改善が施されました。早期導入者である格安航空会社のJetBlueは、Rocksetの技術による成功した実装を既に報告しています。ベクトル検索のアップデートに合わせて、RocksetはAIオーケストレーション用の人気ツールであるLangChainや、LlamaIndexデータフレームワークとの統合も行っています。

Rocksetの共同創業者兼CEO、Venkat Venkataramaniは「私たちのベクトル検索機能は一般利用可能であり、高度に洗練されています。巨大なスケールで近似最近傍（ANN）技術を用いた類似性インデックスを作成し、ベクトル埋め込みとMetaデータのリアルタイム更新が可能です」と述べています。

リアルタイムインデクシングによるベクトル検索

2023年、ベクトル検索市場での競争は激化しています。ベクトルとは、数値データの表現であり、大規模な言語モデル（LLM）を支えるために重要です。PineconeやMilvusといった専門的なベクトルデータベースが登場する一方で、DataStaxやMongoDB、Neo4jなどの既存のデータベース技術も存在します。

Rocksetは、リアルタイム更新機能を提供することで競争の中で際立とうとしています。新しいデータがRocksetのデータベースに追加される際、データベースのインデックスとベクトル埋め込みがリアルタイムで更新され、レイテンシは数ミリ秒の範囲に収まります。この効率は、インデックス構築用のリソースとクエリ実行用のリソースを分離するコンピュートモデルに起因しています。

Venkataramaniは、「ほとんどのベクトルデータベースではリアルタイムの更新が不可能で、定期的なインデックスの再構築が必要」と説明しています。

ANNによるベクトル類似性検索の加速

ベクトル検索には、近似最近傍（ANN）やより正確なK最近傍（KNN）など、さまざまな手法が使用されます。ANNは効率的に近似結果を提供しますが、KNNは正確な上位の一致を計算するため、大規模データセットではリソースが多く必要です。

Rocksetは、特定のクエリとデータセットのコンテキストに基づき、KNNとANNの両方の戦略を採用しています。SQLインターフェースを通じて、ユーザーはベクトル検索をMetaデータフィルターと組み合わせて使用でき、Rocksetのオプティマイザーがスピードに最適な方法を自動選択します。リアルタイム更新機能により、RocksetのANNインデックスは最新のデータを数ミリ秒以内で反映します。

ベクトルデータベースの持続性

OpenAIの最近の開発者デーでは、生成AIの風景を変える可能性のある新サービスが発表されました。OpenAIのGPTビルダーやアシスタントAPIは、ベクトルデータベース技術の未来についての議論を呼んでいます。

業界の憶測にもかかわらず、Venkataramaniはベクトルデータベースへの需要が今後も続くと確信しています。彼は、高いセキュリティとコンプライアンス要件を持つ大規模組織はAIイニシアティブのために第三者サービスだけに依存できないと主張しています。

「ベクトルデータベースの必要性は薄れることはなく、特にRetrieval Augmented Generation（RAG）のユースケースを駆動する複雑なデータセットにおいて重要です」とVenkataramaniは述べています。AIアプリケーションが進化するにつれて、基盤としてのベクトルデータベースは引き続き重要な役割を果たすと強調しました。

「私は、ベクトルデータベースは今後も存在し続けると信じています。チャットボットを超えたさまざまな新しいユースケースが支えています」と彼は結論付けました。