随着企业越来越注重开发人工智能（AI）应用和代理，利用多种语言模型和数据库以获得最佳结果的重要性愈加明显。将应用程序从Llama 3切换到Mistral可能需要复杂的技术调整，而关键在于“编排层”——这一重要中介层连接基础模型与应用程序，管理API调用以有效执行任务。
编排层主要由LangChain和LlamaIndex等软件解决方案构成，这些工具促进了数据库的集成。然而，一个关键问题随之而来：这个层次完全是软件驱动的，还是硬件在AI模型之外扮演了重要角色？
答案非常明确：硬件在支持LangChain等框架及其背后的数据库方面至关重要。企业需要强大且可靠的硬件架构，能够处理高容量的数据流，同时还应考虑能够在本地执行重大数据中心任务的设备。
InterSystems数据平台负责人Scott Gnau表示：“AI中间层主要是个软件问题，但硬件供应商可以显著影响其性能和效率。” AI基础设施专家强调，尽管软件对AI编排至关重要，其有效性在于服务器和GPU是否能够处理大量数据传输。因此，为使编排层最佳运作，基础硬件必须具备智能与高效，专注于高带宽和低延迟的连接，以管理重负载。
IBM Consulting生成性AI负责人Matt Candy解释道：“这个编排层需要快速芯片。我设想未来，当编排层在任务之间动态切换时，硅、芯片和服务器可以根据模型的类型和大小进行优化。”目前可用的GPU已经能够有效支持这些需求。
戴尔全球首席技术官兼首席AI官John Roese指出：“这涉及硬件和软件。人们常常忘了，AI作为软件存在，而它是运行在硬件上的。AI软件是我们创造过的最苛刻的，需要了解性能指标和计算要求。” 尽管AI中间层需要快速强大的硬件，但在现有GPU和芯片之外，并不需要新的专业设备。
Gnau进一步指出：“当然，硬件是关键的推动因素，但我怀疑除了GPU外，还有什么专业硬件能推动重大进展。优化将源于软件和架构，以最小化数据移动。”
随着AI代理的出现，这一中间层的重要性愈发突出。AI代理之间的沟通和多个API调用的发起，使得有效的编排层对于快速管理这些流量至关重要。Candy称：“这个层确保了对各种AI模型和技术的无缝API访问，从而提升了整体用户体验。我将其称为中间件堆栈中的AI控制器。”
AI代理在行业中备受关注，预计将在未来几年内影响企业AI基础设施的发展。Roese还提出企业另一个需要考虑的方面：本地AI。公司必须规划让AI代理在失去连接的情况下能够本地运行的方案。
Roese建议：“关键问题在于操作发生的地点。诸如AI PC的概念将在此发挥作用。当一组代理为您协作时，它们是否都需要集中管理？”他讨论了戴尔在探索本地“礼宾”代理方面的努力，这些代理能够在互联网故障期间保持操作。
生成性AI催生了技术堆栈的爆炸式增长，新服务提供商不断涌现，提供GPU空间、数据库和AIOps服务。然而，Uniphore首席执行官Umesh Sachdev警告称，这种扩张可能不会持久。“虽然技术堆栈迅速扩张，但我认为我们将看到一个正常化阶段，”Sachdev预测。“最终，各组织将整合内部资源，GPU需求将趋于稳定。层次和供应商的激增是新技术的典型特征，AI也会经历类似的趋势。”
对于企业而言，最佳实践是考虑整个AI生态系统——从硬件到软件——以确保有效的AI工作流。
排行榜
