位于多伦多的人工智能初创公司Cohere推出了其最新的嵌入模型Embed V3，该模型针对语义搜索和大型语言模型（LLM）应用进行了优化。嵌入模型将数据转换为称为“嵌入”的数字表示，随着企业应用中对LLM的日益普及，这种模型越来越受到重视。
Embed V3与OpenAI的Ada和各种开源模型竞争，旨在提供更卓越的性能和更高效的数据压缩。这些改进旨在降低企业LLM应用的运营成本。
嵌入在RAG中的重要性
嵌入在多个任务中至关重要，其中包括在企业环境中广泛应用的检索增强生成（RAG）。RAG使开发人员可以通过从用户手册、聊天记录、文章或未包含在原始训练集中的文档中检索信息，为LLM提供上下文。
企业通过为其文档生成嵌入并将其存储在向量数据库中来利用RAG。当用户向模型查询时，AI系统会计算提示的嵌入，并与存储的嵌入进行比较，从而检索到最相关的文档，以增强提示的上下文。
克服企业AI中的挑战
RAG解决了LLM的一些局限性，例如缺乏实时信息和产生不准确内容的倾向，但在为用户查询找到最相关文档方面仍然面临挑战。以往的嵌入模型在处理噪声数据集时遇到了困难，相关性不强的文档可能因简单的关键词匹配而排名更高。例如，当用户搜索“COVID-19症状”时，较旧的模型可能优先显示模糊提及该术语的文档，而非详细描述特定症状的文档。
Cohere的Embed V3通过提供准确的语义上下文，在更好地匹配文档和查询方面表现出色。在“COVID-19症状”的示例中，Embed V3会将描述“高温”、“持续咳嗽”或“嗅觉或味觉丧失”等具体症状的文档排名高于一般性说明的文档。
Cohere表示，Embed V3在嵌入性能的标准基准测试中超越了其他模型，包括OpenAI的ada-002。Embed V3有多种尺寸版本，其中还包括多语言版本，能够将查询与多种语言的文档进行匹配，从而便于检索与英语查询相关的多语言文档。
利用先进功能提升RAG
Embed V3在复杂用例中的表现也异常出色，包括多步RAG查询。当用户的提示涉及多个查询时，模型能够有效识别并检索各个相关文档，从而简化流程。这种高效性减少了对向量数据库多次查询的需求。此外，Embed V3改进了重新排序功能，这一功能由Cohere集成到其API中，以根据语义相关性更好地组织搜索结果。
Cohere的一位发言人解释道：“重新排序在复杂查询和文档中特别有效，因为传统嵌入模型在这些场景中可能表现不佳。然而，要使重新排序有效，初始文档集必须准确表示最相关的信息。像Embed V3这样的卓越模型确保不会遗漏任何相关文档。”
此外，Embed V3能够显著降低运行向量数据库的成本。该模型的三阶段训练过程包括一种专门的压缩感知训练方法。一位发言人指出：“维持向量数据库的费用可能比计算嵌入的成本高出10至100倍。我们的压缩感知训练可以实现有效的向量压缩。”根据Cohere的博客，这一压缩阶段优化了模型与多种压缩方法的兼容性，大幅降低了向量数据库的成本，同时保持高达99.99%的搜索质量。
排行榜
