MLPerf推理4.1結果顯示Nvidia Blackwell首次測試表現出顯著性能提升

Home 硬體 MLPerf推理4.1結果顯示Nvidia Blackwell首次測試表現出顯著性能提升

MLCommons 最近公布了最新的 MLPerf 推論結果，展示了全新的生成式 AI 基準測試，以及 Nvidia 下一代 Blackwell GPU 處理器的首批驗證性能指標。作為一個多方利益相關者的中立組織，MLCommons 負責監管 AI 訓練和推論的 MLPerf 基準。這次的結果涵蓋了來自 22 家組織的 964 項性能提交，為快速演變的 AI 硬體和軟體環境提供了關鍵概覽。MLPerf 透過統一且可重複的 AI 推論性能測量，幫助企業決策者洞察 AI 部署的複雜性，平衡性能、效率與成本。

MLPerf Inference v4.1 的重要亮點

在 MLPerf Inference v4.1 中，一個顯著的更新是 Mixture of Experts (MoE) 基準的引入，它評估 Mixtral 8x7B 模型的性能。本次測試還展現了一系列新處理器與系統，包括 AMD 的 MI300x、Google 的 TPUv6e (Trillium)、Intel 的 Granite Rapids、Untether AI 的 SpeedAI 240 和 Nvidia 的 Blackwell B200 GPU。

MLCommons 的 MLPerf 創始人 David Kanter 表示對多樣化的提交感到興奮：“評估的系統範圍越廣，行業內的比較和洞察機會就越多。”

AI 推論的 MoE 基準

此次的重大進展是 MoE 基準，旨在應對大規模語言模型所帶來的挑戰。AMD 和 MLCommons 推論工作組主席 Miro Hodak 解釋說，MoE 方法並不是依賴單一的大型模型，而是由幾個較小且領域專屬的模型組成，這提高了部署的效率。

MoE 基準使用 Mixtral 8x7B 模型來評估硬體性能，該模型包含八個專家，每個專家擁有 70 億參數，並整合了三個關鍵任務：

- 基於 Open Orca 數據集的問答

- 使用 GSMK 數據集的數學推理

- 基於 MBXP 數據集的編碼任務

Hodak 強調，與傳統的單任務基準相比，MoE 框架不僅更好地利用模型的優勢，還促進了更高效的企業 AI 解決方案。

Nvidia 的 Blackwell GPU：前景可期的 AI 推論增強

MLPerf 測試過程為供應商提供了一個展示即將推出技術的平台，並有嚴謹的同行評審結果支持。其中備受期待的是 Nvidia 在三月宣佈的 Blackwell GPU。儘管用戶需數月才能訪問 Blackwell，MLPerf Inference 4.1 的結果已提供了對其能力的初步了解。

Nvidia 的 Dave Salvator 在近期簡報中表示：“這是首次公布 Blackwell 的測試數據，我們很高興分享這一信息。”基準專門強調了基於 MLPerf 最大的 LLM 工作負載 Llama 2 70B 的生成式 AI 工作性能。“與我們之前的世代相比，每個 GPU 的性能提升了 4 倍，”Salvator 指出。

除了新推出的 Blackwell GPU，Nvidia 還持續從現有硬體中發掘更多性能。MLPerf Inference 4.1 的結果顯示，Hopper GPU 自六個月前的基準測試以來提升了 27%，這完全是由於軟體的優化。

Salvator 解釋道：“這些增益僅來自軟體。我們使用的是相同的硬體，但持續的軟體優化使我們能夠達到更高的性能。”

隨著這些進展，MLCommons 最新的 MLPerf 推論結果為 AI 硬體的未來和在各種企業應用中的部署潛力提供了關鍵洞察。

Mojo Vision 與 CY Vision 合作開發汽車用微型 LED 抬頭顯示器

解鎖4K UHD投影儀，搭載德州儀器緊湊型TI DLP控制器

Most people like

ChainGPT

463.2K

ChainGPT 將區塊鏈技術的力量與先進的人工智慧相結合，提供專門針對加密貨幣和區塊鏈社群的創新解決方案。

區塊鏈 Blockchain

HitPaw Edimakor

2.4M

介紹一款配備尖端功能的AI視頻編輯器，旨在提升您的視頻製作體驗。這款創新工具利用人工智能的強大能力，簡化編輯過程，讓您輕鬆創作出驚人的視頻。無論您是內容創作者、行銷專家還是導演，我們的先進視頻編輯器都能簡化複雜任務，增強您的編輯能力，讓您能專注於講述您的故事。探索視頻編輯的未來，將您的創意願景化為現實。

影片剪輯 AI Video Editor

ZeroGPT Plus

156.7K

確保內容的真實性與 AI 技術在當今數位時代，驗證線上內容的真實性比以往任何時候都來得重要。隨著錯誤信息和深度偽造技術的崛起，利用 AI 技術來檢查內容的真實性已成為可靠且高效的解決方案。這一創新方法不僅幫助個人和企業維護其可信度，還促進了在線溝通的信任。讓我們探索如何利用 AI 來改變內容驗證，並確保信息的完整性。

AI 內容檢查器 AI Detector

Ebook Maker

173.9K

輕鬆生成電子書，盡在AI的強大之下。只需一次點擊，您便能迅速將想法轉化為專業品質的電子書。

電子書創作 AI Book Writing

Find AI tools in YBX