NvidiaのAI推論性能が3倍、Intelが2倍向上 – 最新のMLPerfベンチマーク結果

MLCommonsがMLPerf 4.0を発表：AI推論のためのベンチマーク

MLCommonsは、AI推論のためのMLPerf 4.0ベンチマークを発表し、ソフトウェアとハードウェアの急速な進展を示しました。生成AIが進化し、多くの支持を受ける中、ベンダーニュートラルなパフォーマンスベンチマークの枠組みへの需要がこれまでになく重要になっています。MLCommonsは、トレーニングと推論の能力に関する貴重な洞察を提供するMLPerfベンチマークを通じてこのニーズに応えています。MLPerf 4.0の推論結果は、2023年9月に公開されたMLPerf 3.1結果以来の初更新となります。

この6ヶ月間で、AI業界は大きく進展し、NvidiaやIntelといった主要ハードウェア企業は、推論性能を最適化するために自社製品を改良してきました。新しいMLPerf 4.0の結果は、NvidiaとIntelの技術からの重要な改善を示しています。

特に、MLPerfの推論ベンチマークは変更されています。MLPerf 3.1ではテキスト要約のためのGPT-J 6Bパラメータモデルが使用されていましたが、MLPerf 4.0では、質問応答に広く使用されているLlama 2 70億パラメータモデルに焦点を移しました。また、MLPerf 4.0では、Stable Diffusionを用いた生成AI画像の作成のためのベンチマークが初めて導入されました。

MLCommonsの創設者兼エグゼクティブディレクターであるデビッド・カンターは、記者会見で「MLPerfは、AIの速度、効率、精度を向上させる業界標準となります」と述べました。

AIベンチマークの重要性

最新のMLCommonsベンチマークには、8,500以上のパフォーマンス結果が含まれ様々なハードウェア、ソフトウェア、AI推論ユースケースの組み合わせを評価しています。カンター氏は、AI性能のための意味のある指標を確立することの重要性を強調しました。「目的は、AIの能力を測定する堅牢な指標を作成し、さらなる向上を可能にすることです」と彼は説明しました。

MLCommonsは、異なるシステム間で一貫したデータセットと構成を使用して標準化されたテストを行うことで、業界の統一を目指しています。すべての結果は参加者と共有され、透明性と共同の改善を促進します。この標準化アプローチは、企業がAIソリューションを選定する際に情報に基づいた意思決定を行うのに役立ちます。「これにより、オンプレミス、クラウドベース、あるいは組み込みシステムに関するワークロードに基づいてシステムを評価する助けになります」とカンター氏は述べました。「大規模言語モデルの推論を実行するシステムを探している場合、ベンチマークが選択の指針になるでしょう。」

NvidiaがAI推論性能での優位性を示す

NvidiaはMLPerfベンチマークで再びその優位性を証明しました。新しいハードウェアが通常性能を向上させる中、Nvidiaは既存の技術で推論性能を効果的に改善しました。NvidiaのTensorRT-LLMオープンソース推論技術を使用することで、同社はGPT-Jモデルを用いたテキスト要約のためのH100 Hopper GPUの推論性能を約三倍に引き上げました。

Nvidiaのアクセラレーテッドコンピューティング製品のディレクター、デイブ・サルヴァトールは、6ヶ月間で達成したパフォーマンス向上についての喜びを表現しました。「Hopperアーキテクチャを最適化するためにエンジニアリングチームが努力したおかげで、大幅な性能改善が実現しました」と彼は述べました。

先週のGTCでは、Hopperアーキテクチャの後継であるBlackwell GPUが発表されました。BlackwellのMLPerfでのベンチマーク時期は未定ですが、サルヴァトールは早期の実施を期待しています。

Blackwellのベンチマーク以前にも、MLPerf 4.0の結果には新しいH200 GPUが登場し、Llama 2で評価した際にH100と比較して最大45%迅速な推論性能を誇ります。

IntelがAI推論におけるCPUの重要性を強調

IntelはMLPerf 4.0ベンチマークに積極的に参加し、Habana AIアクセラレーターとXeon CPU技術を披露しています。ガウディの性能結果はNvidiaのH100に劣りますが、Intelは優れた価格対性能比を提供していると主張しています。特に、新しい第5世代Intel Xeonプロセッサは、推論タスクにおいて印象的な向上を示しています。

記者会見で、IntelのXeon向けAIプロダクトディレクターであるロナック・シャーは、第5世代Xeonが前世代と比べて推論で1.42倍の速度を達成していることを強調しました。特に、GPT-J LLMのテキスト要約タスクでは、第5世代Xeonは1.9倍の速度を達成しました。「多くの企業が一般向け処理とAI機能を統合したソリューションを必要としています」とシャー氏は述べました。「我々のCPUは、AMXエンジンを通じて強力な一般向け処理と高度なAI性能を融合するよう設計されています。」