Not Diamond：智能优化查询路线至最佳语言模型

在大型语言模型（LLMs）时代，各公司纷纷寻求针对其特定应用实施最有效的模型。然而，这项看似简单的任务常常带来重大挑战：在迅速发展的领域中，识别出适合自身用例的最佳解决方案。

Not Diamond是一家突破虚拟状态的创新初创公司，认为关键在于智能路由。总部位于旧金山的Not Diamond开发了一款前所未有的LLM路由器，使企业能够同时使用多个模型，自动将查询指向最合适的模型。这一方法不仅提升了输出质量，还优化了延迟和成本等关键因素。

Not Diamond联合创始人兼首席执行官托马斯·赫南多·科夫曼（Tomás Hernando Kofman）表示：“我们的核心信念是，未来不会只有单一主导模型或公司，而是将会有多个基础模型、无数的专业变体，以及众多定制推理引擎在其之上运行。我们创建Not Diamond就是为了促进这一多模型的未来，提供世界上最先进的模型路由基础设施。”

虽然Not Diamond仍处于初期阶段，但已引起了广泛关注，成功获得230万美元的资金，投资者包括defy.vc以及谷歌DeepMind的杰夫·迪恩（Jeff Dean）、Hugging Face的朱利安·肖蒙德（Julien Chaumond）、OpenAI的扎克·卡斯（Zack Kass）等知名人士。

LLM费用与任务特定性能的挑战

在当前的语言模型生态中，每种模型（无论是开源还是专有）都有其优缺点。选择一个拥有广泛上下文长度和高性能的模型通常会面临高昂的成本，而更经济的选项可能缺乏关键功能或存在高延迟。新模型不断涌现，现有模型也在持续更新，例如开源进展显著的Llama 3.1。

Not Diamond如何助力企业

科夫曼曾开发过一种无代码AI产品，深知LLM所面临的困境。他设想了一个解决方案：一个能够让企业接入专业模型网络的界面，而不必依赖单一选项。这一愿景促使他与机器学习专家董子阳（Tze-Yang Tung）和杰弗里·阿基基（Jeffrey Akiki）合作，创建了Not Diamond，专注于打造能够智能路由查询的基础设施。

“有效的路由基础设施对于最大化AI系统性能至关重要。较小的专业模型在特定领域可能会超越大型模型，而路由使这些模型具备像大型模型那样的韧性。这种方法不仅计算高效，而且增强了可解释性和安全性。”科夫曼解释道。

Not Diamond的创新技术

Not Diamond解决方案的核心是一种“元模型”和LLM排名算法。这款路由器全面分析输入查询，自动将其指向最适合提供准确答案的模型，同时最大限度提高成本效率并降低延迟。这使团队避免在简单查询上调用大型模型。

基准测试结果表明，Not Diamond的路由器结合多种LLM，在结果上超越了单一模型，如Llama 3.1和GPT-4，为用户提供更好的体验。为了开发此能力，Not Diamond创建了一个大型评估数据集，衡量不同任务（从回答问题到编码及推理）上的LLM性能。该公司随后训练了一个排名算法，以识别每个查询最兼容的LLM，推动路由过程。

2023年12月，Not Diamond发布了其路由器的开源预览版本，允许企业在GPT-3.5和GPT-4之间无缝管理查询，并计划扩展到其他模型。此外，如果团队希望将路由器整合到其内部工作流程中，他们可以提供内部评估数据集，以训练定制路由器，从而优化模型选择。该路由器还提供数据哈希和提示翻译功能，以增强性能。

加速开发者的采纳

尽管Still in the initial stages of development, Not Diamond已经受到早期阶段公司和独立开发者的热烈欢迎。虽然具体用户数量尚未披露，但企业客户Samwell AI报告称，通过使用Not Diamond的技术，实现了LLM输出质量提高10%、推理成本和延迟减少10%的效果。

在行业领军人物的支持下，该公司致力于进一步推动产品开发并提升采纳率。科夫曼强调，Not Diamond正在开发“众多额外产品特性”，尽管具体细节暂不公布。

在智能查询路由领域，Not Diamond面临来自多个重要初创公司的竞争，包括Martian和Unify。然而，科夫曼坚称，Not Diamond凭借其卓越的路由速度、提示优化和隐私功能独树一帜。