Meta 的开放源代码高级大型语言模型 Llama 2 已在开发者和研究人员中获得广泛赞誉，尤其因其可获取性。该模型激发了多种人工智能系统的开发，包括 Vicuna、Alpaca 和 Meta 自家的 Llama 2 Long。然而，使用 Llama 2 的运营成本相较于专有替代品可能显著更高。有报告指出，许多初创公司在使用 Llama 2 时的运营成本比使用 OpenAI 的 GPT-3.5 Turbo 高出 50% 到 100%，而先进的 GPT-4 则更加昂贵。这两种强大的语言模型构成了 ChatGPT 的基础。
成本差异有时非常惊人。聊天机器人初创公司 Cypher 的创始人在八月进行测试，使用 Llama 2 产生了高达 1200 美元的花费，而在 GPT-3.5 Turbo 上的相同测试仅花费 5 美元。
最近，OpenAI 推出了一个新的、更具经济性的模型 GPT-4 Turbo，其运作成本为每 100 个输入标记一美分，比之前的 8K 版本低三倍。在 DevDay 活动中，OpenAI 鼓励开发者探索这一新模型，并为每位与会者提供 500 美元的免费 API 额度。尽管 Llama 2 为用户提供开放访问，但在运营成本上的显著差异可能会使公司不愿采用该模型。
理解成本差异
导致开源模型运营成本较高的一个关键因素在于公司所使用的基础设施。OpenAI 能够通过将请求批量处理，在高性能芯片上高效处理数百万次请求。相比之下，像 Cypher 这样的初创公司依赖开源模型并通过云服务提供商租用专用服务器，但可能没有足够的流量以达到相似的效率。这种差距限制了他们利用服务器能力的充分潜力。
与开源大型语言模型相关的运营成本波动较大，主要取决于具体任务、请求数量和所需的定制级别。对于简单任务（如摘要），成本相对较低，而复杂功能则可能需要更高的投资。
AI 和数据分析首席分析师 Bradley Shimmin 指出，OpenAI 的成本管理策略缺乏透明度。“OpenAI 可能享受规模经济，而小型企业尝试在 AWS 或 Azure 等云平台上托管大型模型却无法获得这些优势，”他表示。
资源不匹配
Permutable.ai 最近的分析显示，使用 OpenAI 技术的运营成本约为每年 100 万美元，是使用内部模型成本的 20 倍。Permutable.ai 的 CEO Wilson Chan 将用于小任务的 ChatGPT 比作用“大锤砸坚果”，高效但力量过大。他警告说，对于日常任务，重型模型的计算和财务资源密切相关，因此匹配 AI 模型的能力与实际需求，以确保成本效益至关重要。
探索成本结构
大型语言模型的运营费用因大小而异。Llama 2 提供多种配置，最大版本拥有 700 亿参数。较大的模型在训练和执行时需要大量计算能力，但通常性能更佳。
Iris.ai 的首席技术官兼联合创始人 Victor Botev 指出，可以通过量化等技术优化参数以降低运营成本。虽然这可以降低开支，但同时可能影响响应质量，因此必须根据用户需求谨慎权衡决定。
对于本地部署，参数少于 100 亿的模型至少需要一个 DGX 主机，成本约为 20 万美元。运行 Llama 2 的年度硬件费用可以达到约 6.5 万美元。在云设置中，运营成本根据模型大小而异。对于参数少于 150 亿的模型，月费用约为 1000 美元，年费用总计 1.2 万美元，而 约 70 亿参数的模型则月费上升至约 1500 美元，年费用约为 1.8 万美元。
大多数模型在未进行调整的情况下很少能满足公司的质量标准，因此需要多种调优技术。提示调优是成本最低的方法，价格范围从 10 到 1000 美元，而指令调优的费用则为 100 到 1 万美元。微调改变模型的基本属性，费用范围从 10 万美元（对于小型模型，1-5 亿参数）到数百万（对于较大配置）。
向小型模型的转变
鉴于这些因素，专为特定应用设计的小型、经济型模型的出现提供了有希望的替代方案。Llama 2 的七亿和 13 亿参数的变体已经上市，而 Microsoft 的 Phi 1.5 和 EleutherAI 的 Pythia-1b 等创新模型也在逐渐获得关注。
然而，Omdia 的首席分析师 Lian Jye Su 也强调，开源产品很少便宜，特别是当涉及到定制或增强时。此外，虽然所有 OpenAI 模型都是专有的，一些企业可能更愿意避免通过许可或专利分享收入，因此将模型成本视为较低的优先事项。
StrikeReady 的首席产品官 Anurag Gurtu 强调，初创公司必须平衡模型成本与投资回报之间的关系。“AI 模型可以促进创新，提升用户体验，优化运营。随着我们的发展，更高效的模型和经济解决方案的出现，将使得 AI 对初创公司和开发者更具可及性，”他预测。
计算资源的获取
另一个影响运营成本的重要因素是对硬件的访问。在当前竞争激烈的市场中，公司急于部署 AI 技术，迫切需要强大的计算资源。然而，需求超过了供应。市场领导者 Nvidia 最近报告称其 GPU 的需求很大，第二季度的交付量显著增加。随着 AMD 和 Intel 等竞争对手推出自己的 AI 芯片，对计算能力的可靠获取变得至关重要。
由于硬件供应有限，公司可能面临膨胀的成本以满足其计算需求。来自 Hugging Face、NexGen Cloud 和 AWS 等供应商的可租用 GPU 可用，但像 Llama 2 这样的模型需要强大的计算资源。
Ashurst 的首席数字官兼合伙人 Tara Waters 指出，公共模型的消费型定价可能会让一些初创公司不愿在客户购买前让其试用和探索。尽管开源模型的可用性可能缓解某些挑战，但也带来了新的障碍，例如有效托管和部署这些模型所需的基础设施。
随着市场的发展，管理 AI 模型消费和成本的创新策略也在出现。探索无须托管模型的提示工程，或开发中间解决方案以简化重复查询的资源分配，展示了在当前 AI 生态系统中所需的聪明才智。
排行榜
