随着企业日益采用人工智能技术，面临的核心挑战是如何为每个任务选择最佳的人工智能模型，同时平衡性能与成本。模型路由应运而生，成为一种突破性的解决方案，使组织能够最大化人工智能的效率。
模型路由技术的优势
模型路由技术使企业能够根据具体查询动态选择最合适的人工智能模型，从根本上改变了其使用人工智能资源的方式。这种方法不仅提高了性能，还显著降低了成本，相较于依赖单一通用模型，更加高效。
Martian：引领AI模型路由的先锋
在这一领域，初创公司Martian备受瞩目。它开发了一种创新的大型语言模型（LLM）路由器，吸引了众多顶尖科技公司的关注。最近，全球专业服务公司埃森哲（Accenture）宣布投资Martian，进一步强调了模型路由在企业人工智能战略中的重要性。
埃森哲计划将Martian集成到其调度服务中，帮助企业进行模型选择。自2023年11月正式面世以来，Martian不断发展其技术，目前正将新的AI模型合规性功能纳入其路由平台。
动态路由的提升
以往，埃森哲的调度服务已经协助企业进行模型选择，而Martian通过动态路由的方式进一步提升了这一能力，使企业不仅能针对特定任务选择最佳模型，还能针对每个查询进行自动化选择。“这意味着不必始终使用单一模型，从而降低成本、提高性能。”Martian的联合创始人Shriyash Upadhyay解释道。
埃森哲首席人工智能官Lan Guan表示，许多客户希望利用生成式人工智能，同时关注性能和成本指标。“埃森哲的调度服务与Martian的动态LLM路由的协作，简化了用户体验，使企业能够探索符合其独特需求的生成式人工智能，”Guan说道。
Martian如何优化AI查询路由
Martian的模型路由器巧妙地为每个查询选择最佳人工智能模型，采用旨在预测模型行为的核心技术。Upadhyay强调他们独特的做法：“我们着重理解这些模型的内部特性，因为每个模型包含足够的信息来预测其自身行为。”
这一策略使Martian能够精准识别执行的最佳模型，优化成本、输出质量和延迟等因素。通过模型压缩、量化、蒸馏和专用模型等技术，他们在不运行完整模型的情况下增强预测能力，从而提高性能并降低静态模型所带来的成本。
企业人工智能中模型路由的重要性
尽管在商业中“使用最佳工具”的理念已深入人心，许多组织对多样化的人工智能模型的认知仍存在挑战。Upadhyay指出，“大型企业的不同部门往往对可用的各种专业模型缺乏认知。”
为了有效利用人工智能模型，明确成功指标至关重要。组织需要确定哪些指标定义成功，并识别特定应用的关键目标。在成本优化和投资回报方面也需要重视。Upadhyay认为，模型路由能够有效解决这两方面的问题。
合规性问题也是企业亟待应对的挑战，Martian通过其新的合规功能应运而生。该功能允许公司审核和批准可应用的人工智能模型，并建立自动化合规政策。
转变代理式人工智能
模型路由在正在快速发展的代理式人工智能领域中扮演着关键角色。在这一领域，人工智能代理将多个模型与操作串联在一起，以实现预期结果。每个代理工作流的步骤均依赖于前一步骤，因此错误可能会积累。Martian的动态路由确保在每个环节应用最合适的模型，以保持高准确性。
“代理式AI是模型路由的一个引人注目的应用场景；每一步的精准性至关重要，以避免错误的蔓延，”Upadhyay总结道。
排行榜
