位於多倫多的人工智慧新創公司 Cohere 發布了其最新的嵌入模型 Embed V3，該模型專為語意搜尋和大型語言模型（LLM）應用而優化。嵌入模型將數據轉換為稱為「嵌入」的數值表示，隨著 LLM 在企業應用中的日益普及，這類模型受到廣泛關注。
Embed V3 競爭對手包括 OpenAI 的 Ada 及多個開源模型，旨在提供更卓越的性能和改進的數據壓縮，這些增強功能旨在降低企業 LLM 的運營成本。
嵌入在 RAG 中的角色
嵌入對於各種任務至關重要，尤其是檢索增強生成（RAG），這是 LLM 在企業領域中的一個關鍵應用。RAG 允許開發者透過從用戶手冊、聊天記錄、文章或其他不在原始訓練集中的文件中檢索信息，為 LLM 提供上下文。
為了使用 RAG，企業需要為其文件生成嵌入並將其儲存在向量數據庫中。當用戶查詢模型時，AI 系統計算提示的嵌入並與儲存的嵌入進行比較，以檢索出最相關的文件，進而增強提示上下文。
克服企業 AI 的挑戰
RAG 解決了 LLM 的一些限制，例如缺乏實時信息及生成不準確內容的傾向，這種現象通常被稱為「幻覺」。然而，為用戶查詢找到最相關的文件仍是一項挑戰。
先前的嵌入模型在處理噪聲數據集時遭遇困難，無關文件因基本關鍵字匹配而可能排名更高。例如，若用戶搜尋「COVID-19 症狀」，較早的模型可能優先顯示模糊提及該術語的文檔，而非詳細說明具體症狀的文件。
Cohere 的 Embed V3 在查詢和文件匹配方面表現卓越，能夠提供精確的語意上下文。在「COVID-19 症狀」的例子中，Embed V3 會將描述具體症狀如「高燒」、「持續咳嗽」或「嗅覺或味覺喪失」的文件評為比一般說明 COVID-19 的文件更高。
Cohere 報告稱，Embed V3 在標準基準測試中的嵌入性能超越了其他模型，包括 OpenAI 的 ada-002。Embed V3 提供多個尺寸選擇，還包括多語言版本，能夠將查詢與不同語言的文件相匹配，便利多語言文檔的檢索。
利用進階功能增強 RAG
Embed V3 在複雜用例上的表現非常出色，包括多跳 RAG 查詢。當用戶的提示涉及多個查詢時，該模型能有效識別並檢索每個查詢的相關文檔，簡化流程。
這種效率減少了對向量數據庫的重複查詢需求。此外，Embed V3 增強了重排序功能，該功能已整合到 Cohere 的 API 中，更好地根據語意相關性組織搜尋結果。
Cohere 發言人表示：「重排序對於複雜查詢和文檔特別有效，因為傳統嵌入模型在這些情況下可能會遇到困難。然而，為了實現有效重排序，初始文件集必須準確代表最相關的信息。像 Embed V3 這樣的優質模型確保不會忽略任何相關文檔。」
此外，Embed V3 有助於顯著降低運行向量數據庫所需的成本。該模型的三階段訓練過程採用了專門的壓縮感知訓練方法。發言人指出：「維護向量數據庫的費用可能比計算嵌入高出 10 倍至 100 倍。我們的壓縮感知訓練能有效實現向量壓縮。」
根據 Cohere 的博客，這一壓縮階段為兼容各種壓縮方法優化模型，大幅降低向量數據庫的成本，同時保持高達 99.99% 的搜尋質量。
排行榜
