Not Diamond：無縫連接您的查詢至最佳語言模型

在大型語言模型（LLMs）的時代，各公司急於為其獨特應用實施最有效的模型。雖然這個任務似乎簡單，但許多組織卻面臨一個重大挑戰：在快速變化的環境中，如何辨識最適合其特定使用案例的解決方案。

Not Diamond 是一個突破性的初創公司，最近從隱藏模式中亮相，認為關鍵在於智能路由。該公司總部位於舊金山，開發了一款創新的 LLM 路由器，使企業能夠同時使用多個模型，將查詢引導至最合適的模型。這種方法不僅提升了輸出品質，還優化了延遲和成本等關鍵因素。

Not Diamond 的聯合創始人及首席執行官 Tomás Hernando Kofman 表示：「我們的核心信念是，未來不會只有一個主導模型或公司，而是會有無數基礎模型、無數專門變體，和許多運行在它們之上的自定義推斷引擎。我們創立 Not Diamond 是為了促進這種多模型的未來，提供全球最先進的模型路由基礎設施。」

儘管尚處於初期階段，Not Diamond 已獲得了顯著關注，並從 defy.vc 和 AI 界的重要人物，包括 Google DeepMind 的 Jeff Dean、Hugging Face 的 Julien Chaumond、OpenAI 的 Zack Kass 等人那裡籌集了 230 萬美元的資金。

LLM成本與任務特定性能的挑戰

當前的大型語言模型生態複雜多變，無論是開源模型還是專有模型，各自都有優缺點。選擇一個具備廣泛上下文長度和高性能的模型往往成本高昂，而更實惠的選項可能缺乏關鍵能力或延遲過高。隨著新模型每日湧現，現有模型也不斷更新，展現出開源技術的潛力，如 Llama 3.1。

Not Diamond 如何賦能企業

Kofman 過去曾開發無需編碼的 AI 產品，親身體會到 LLM 的困境。他構思出一個解決方案：提供一個界面，讓企業能夠接入一個專門模型網絡，而不是依賴單一選項。這一願景促使他與機器學習專家 Tze-Yang Tung 和 Jeffrey Akiki 合作成立 Not Diamond，專注於建立智能查詢路由基礎設施。

Kofman 解釋道：「有效的路由基礎設施對於最大化 AI 系統性能至關重要。較小的專門模型在特定領域的表現優於大型模型，而路由則為這些模型提供了通用模型的韌性。這種方法不僅計算高效，還提升了解讀性和安全性。」

Not Diamond 的創新技術

Not Diamond 解決方案的核心是「元模型」和 LLM 排名算法。該路由器全面分析進來的查詢，自動將其引導至最能提供準確回應的模型，同時最大程度地提高成本效益，最小化延遲。因此，團隊可以避免對簡單查詢調用大型模型的需求。

基準測試結果顯示，Not Diamond 的路由器使用多個 LLM，其表現超越了 Llama 3.1 和 GPT-4 等單一模型，提供更優質的結果。為了開發這一能力，Not Diamond 創建了龐大的評估數據集，衡量 LLM 在各種任務中的性能，從回答問題到編碼和推理，並訓練了一個排名算法，以識別與每個查詢最兼容的 LLM，驅動路由過程。

2023 年 12 月，Not Diamond 發布了其路由器的開源預覽，允許企業之間無縫管理 GPT-3.5 和 GPT-4 的查詢，並計劃擴展至其他模型。此外，團隊如希望將路由器整合到其內部工作流程中，亦可提供內部評估數據集來訓練自定義路由器，優化模型選擇。該路由器還提供數據哈希和提示翻譯功能，以提升性能。

加速開發者採用

儘管還處於初步發展階段，Not Diamond 已經引起了早期公司和獨立開發者的大量關注。雖然具體用戶數尚未披露，但一位企業客戶 Samwell AI 報告表示，通過使用 Not Diamond 的技術，其 LLM 輸出品質提高了 10%，同時推斷成本和延遲減少了 10%。

在行業領導者的支持下，該公司旨在建立其進展，加速產品開發並提高採用率。Kofman 強調，Not Diamond 正在開發「一系列額外產品功能」，雖然具體內容仍然保密。

在智能查詢路由領域，Not Diamond 面對來自一些值得注意的初創公司如 Martian 和 Unify 的競爭。然而，Kofman 斷言，Not Diamond 在路由速度、提示優化和隱私功能上具有卓越的競爭力。