MLCommons发布MLPerf 4.0：AI推理基准测试
MLCommons已推出MLPerf 4.0 AI推理基准，展示了软件和硬件的快速进展。随着生成性AI的不断发展和普及，市场对中立性能基准框架的需求变得更加迫切。MLCommons通过MLPerf基准，满足了这一需求，为训练和推理能力提供了有价值的洞察。MLPerf 4.0推理结果是自2023年9月MLPerf 3.1结果发布以来的首次更新。
过去六个月，AI领域的发展显著加速，Nvidia和Intel等主要硬件公司对其产品进行了优化，以提升推理性能。新的MLPerf 4.0结果显示，Nvidia和Intel的技术都有了重大进步。
值得注意的是，MLPerf推理基准也经历了变化。MLPerf 3.1使用了GPT-J 6B参数模型进行文本摘要，而MLPerf 4.0则转向广泛应用的Llama 2 70亿参数模型进行问答。此外，MLPerf 4.0首次引入了利用Stable Diffusion进行生成性AI图像创建的基准测试。
MLCommons创始人兼执行董事David Kanter在新闻发布会上表示：“MLPerf为提升AI的速度、效率和准确性设定了行业标准。”
AI基准的重要性
最新的MLCommons基准包含超过8500个性能结果，评估了各种硬件、软件和AI推理用例的组合。Kanter强调了建立有意义的AI性能指标的重要性。“目标是创建强大的指标来测量AI能力，以便进行更进一步的优化，”他说。
MLCommons旨在通过在不同系统中使用一致的数据集和配置进行标准化测试，推动行业统一。所有结果与参与者分享，促进透明度和协作改进。这种标准化方法使企业在选择AI解决方案时能够做出明智的决策。
“这帮助买家根据相关工作负载评估系统，无论是本地、云端还是嵌入式，”Kanter指出。“如果您正在寻找运行大型语言模型推理的系统，基准测试将为您提供选择的指引。”
Nvidia在AI推理性能中的领先地位
Nvidia再次在MLPerf基准测试中展现出其强大实力，取得了显著成绩。尽管新硬件通常会提高性能，Nvidia却成功地在现有技术上提升了推理能力。利用Nvidia的TensorRT-LLM开源推理技术，该公司将H100 Hopper GPU在使用GPT-J模型进行文本摘要时的推理性能几乎提升了三倍。
Nvidia加速计算产品总监Dave Salvator对六个月内实现的性能提升表示兴奋。“得益于我们工程团队对Hopper架构的优化工作，我们的性能显著提升，”他说。
就在上周的GTC大会上，Nvidia宣布了继Hopper架构之后的Blackwell GPU。虽然尚未确定Blackwell在MLPerf中的基准测试时间表，Salvator希望很快会进行测试。即便在Blackwell未进行基准测试之前，MLPerf 4.0的结果已展示了新的H200 GPU，该GPU的推理性能比H100快了高达45%。
Intel加强CPU在AI推理中的重要性
Intel积极参与MLPerf 4.0基准测试，展示了其Habana AI加速器和Xeon CPU技术。尽管Gaudi的性能结果落后于Nvidia的H100，Intel宣称其提供了更优的性价比。更重要的是，新的第五代Intel Xeon处理器在推理任务中表现出色。
在新闻发布会上，Intel Xeon AI产品总监Ronak Shah强调，第五代Xeon的推理速度比上一代提高了1.42倍。在GPT-J LLM文本摘要任务中，第五代Xeon的速度甚至达到了1.9倍。“我们深知许多企业需要结合通用和AI能力的解决方案，”Shah说。“我们的CPU设计融合了强大的通用计算和先进的AI性能，通过我们的AMX引擎实现。”
排行榜
