Qdrant: 寻求经济高效的向量数据库解决方案

越来越多的公司致力于将检索增强生成(RAG)系统整合到其技术栈中,这促使出现了多种创新方法以提升这一过程的效率。向量数据库公司Qdrant相信其新开发的搜索算法BM42将显著提高RAG的效率和成本效益。

Qdrant成立于2021年,旨在通过BM42增强混合搜索能力,即结合语义搜索与关键词搜索。Qdrant的联合创始人兼首席技术官安德烈·瓦斯涅佐夫(Andrey Vasnetsov)表示,BM42是对广泛使用的BM25算法的更新,BM25在搜索查询中用于评估文档的相关性。传统系统通常使用BM25,而RAG则采用将数据表示为数学指标的向量数据库,从而简化数据匹配过程。

瓦斯涅佐夫指出:“传统的关键词匹配算法如BM25假设文档的规模足以生成统计数据。然而,RAG处理的是较小的信息块,这使得BM25不够有效。”

BM42通过语言模型从文档中提取相关信息,而不是生成嵌入。这些提取的数据会进行标记化并打分,从而使Qdrant能够准确识别响应特定查询所需的信息。

混合搜索提供了多种增强选项。BM42并不是唯一一个力图超越BM25以优化混合研究和RAG应用的进展。稀疏词汇和扩展模型(Splade)是另一种竞品,它使用预训练的语言模型来识别单词间的关系,并结合可能与搜索查询和相关文档不同的相关术语。

虽然一些向量数据库公司使用Splade,但瓦斯涅佐夫声称BM42提供了更具成本效益的解决方案。他提到:“由于这些模型的规模和计算需求,Splade的费用可能非常高。”

随着企业寻求利用生成式AI模型与其专有数据,RAG迅速成为企业AI的一个焦点。借助RAG,公司能够为员工和用户提供从组织数据中提取的更准确和及时的信息。

微软和亚马逊等大公司现在正提供专为构建RAG应用而设计的云计算基础设施。此外,OpenAI在六月收购了Rockset,以增强其RAG能力。

尽管RAG使用户能够将AI模型输出与公司数据连接,但我们必须意识到它仍然是一种语言模型,易受到不准确性的影响,通常被称为“幻觉”。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles