英特尔推出了新一代人工智能处理芯片——Gaudi 3 AI加速器,旨在通过优化工作流程、简化基础设施和加速企业负载来推动AI开发。Gaudi 3沿用了前代的架构,但性能大幅提升:计算能力提升至四倍,网络带宽增加至两倍,具有1.5倍的高带宽内存(HBM)容量,使其能够在不牺牲性能的情况下满足大型语言模型(LLM)的持续增长需求。
Gaudi 3最初源于图形处理单元(GPU)技术,其并行处理能力和多芯片架构使其成为理想的AI加速器。此次发布是英特尔在AI加速器市场上与Nvidia和AMD竞争战略的一部分。英特尔首席执行官帕特里克·基辛格在“人工智能无处不在”发布会上预览了Gaudi 3,并宣布该芯片已正式发布,预计将在2024年第三季度全面上市,目前已有部分客户获得样品。
英特尔数据中心AI解决方案副总裁尤妮·巴罗维安表示:“生成式AI代表了计算的基础性变革。”她强调,Gaudi 3将提供构建未来AI系统所需的性能、可扩展性和效率。
Gaudi 3规格与性能
英特尔Habana Labs首席运营官艾坦·梅迪纳描述Gaudi 3的异构计算架构,包含64个第五代张量处理核心、8个矩阵数学引擎、128 GB的HBM内存,带宽为3.7 TB/s,以及24个200 GbE RoCE以太网端口。基于Gaudi 3构建解决方案与Gaudi 2同样简单,英特尔将每个加速器的网络带宽加倍,支持根据工作负载需求进行大规模集群配置,无论是推理、微调还是训练。
与Nvidia GPU的对比
与Nvidia的H100相比,Gaudi 3在训练大型语言模型(如Llama 2和GPT-3)时预计可实现高达1.7倍的速度提升。在使用Llama-7B和Falcon 180B等模型的推理测试中,Gaudi 3的性能被报导为比H100快1.5倍,比更新的H200快1.3倍。值得注意的是,在推理任务中,Gaudi 3的功耗效率是H100的2.3倍。
完整产品线
英特尔不仅推出Gaudi 3芯片,还发布了三款互补产品:
1. Gaudi 3 AI加速器卡(HL-325L):符合OAM标准,提供1,835 TFLOPs和128 GB HBM2e。
2. 通用基板(HLB-325):提供14.6 PFLOPS和超过1 TB的HBM2e。
3. PCI Express附加卡:采用双槽被动冷却设计,性能指标与同类产品相当。
企业AI的未来
Gaudi 3面向企业级需求,英特尔网络与边缘计算业务高级副总裁萨钦·卡蒂表示,我们正进入一个AI代理能够自主处理复杂工作流程的时代。AI的下一个阶段将看到这些代理利用专有数据,从而在各个行业实现重大变革。
卡蒂强调,将非结构化的专有数据集成到AI系统中是一个挑战,这些系统通常依赖于CPU,并且格式各异。他提倡建立一个模块化、安全的生态系统,使企业可以选择一系列兼容的AI解决方案,专注于负责任的部署,以确保可信性和减少偏见。
英特尔希望借助Gaudi的增强能力吸引客户离开Nvidia生态系统,尤其是在AI成本上升的背景下。随着AI芯片市场的显著增长,英特尔正将自己定位为一个可行的替代方案,强调对AI解决方案的开放与合作。
结论
生成式AI标志着计算领域的一个重要时刻,英特尔的Gaudi 3以竞争性的性能和效率旨在改变企业AI的部署方式。公司对开放标准和系统兼容性的承诺彰显了其对不断发展的AI生态的支持,承诺满足多样化企业利用AI技术的需求。