MLPerf Inference 4.1結果：Nvidia Blackwellの初登場でパフォーマンス向上を実証

MLCommonsは最新のMLPerf推論結果を発表し、新しい生成AIベンチマークとNvidiaの次世代Blackwell GPUプロセッサの初の検証済みパフォーマンスメトリクスを紹介しました。MLCommonsは多様な利害関係者からなる非営利団体で、AIトレーニングと推論のためのMLPerfベンチマークを管理しています。22の組織からの964件の性能提出を含む最新の結果は、急速に進化するAIハードウェアとソフトウェアの状況を把握する上で重要な概要を提供します。MLPerfは標準化された再現可能なAI推論性能測定を提供し、企業の意思決定者がパフォーマンス、効率、コストのバランスを取るのに役立つ洞察を与えます。

MLPerf Inference v4.1の主なポイント

MLPerf Inference v4.1で注目すべき更新の一つは、Mixtral 8x7Bモデルの性能を評価するMixture of Experts (MoE)ベンチマークの導入です。このラウンドでは、AMDのMI300x、GoogleのTPUv6e（Trillium）、IntelのGranite Rapids、Untether AIのSpeedAI 240、NvidiaのBlackwell B200 GPUなど、多様な新しいプロセッサとシステムが紹介されました。MLCommonsの創設者であるデビッド・カンターは、「評価されるシステムの範囲が広がるほど、業界内での比較と洞察の機会も増えます」と語りました。

AI推論のためのMoEベンチマーク

今回のラウンドでの重要な進展は、ますます大きくなる言語モデルの課題を管理するためのMoEベンチマークです。AMDのシニアテクニカルスタッフでMLCommons推論作業部会の議長であるミロ・ホダックは、「大型モデルに頼るのではなく、ドメイン固有の小型モデルをいくつか併用することで、効率が向上します」と説明しました。MoEベンチマークは、各々70億パラメータを持つ8つの専門家を含むMixtral 8x7Bモデルを使用してハードウェア性能を評価します。このモデルには以下の3つの主要タスクが含まれます：

- Open Orcaデータセットに基づく質問応答

- GSMKデータセットを使った数学的推論

- MBXPデータセットに基づくコーディングタスク

ホダックは、MoEフレームワークが従来の単一タスクベンチマークに比べてモデルの強みをより良く活かし、企業向けの効率的なAIソリューションを促進することを強調しました。

NvidiaのBlackwell GPU: AI推論性能の向上

MLPerfのテストプロセスは、販売業者が厳密にピアレビューされた結果をもとに新技術を示すためのプラットフォームを提供します。期待されているリリースの一つが、3月に発表されたNvidiaのBlackwell GPUです。ユーザーがBlackwellにアクセスできるまでには数ヶ月かかりますが、MLPerf Inference 4.1の結果はその能力についての一端を示しています。「Blackwellの測定データに関する初のパフォーマンス開示です。これを共有できることに興奮しています」と、Nvidiaのデイブ・サルバトールは最近のブリーフィングで述べました。このベンチマークは、MLPerfの最大のLLMワークロードであるLlama 2 70Bに基づく生成AIワークロードの性能を特に強調しています。「前世代と比べて、GPUあたり4倍のパフォーマンスを達成しています」とサルバトールが言及しました。

新しいBlackwell GPUに加えて、Nvidiaは既存のハードウェアからさらに性能を引き出しています。MLPerf Inference 4.1の結果によると、Hopper GPUは、昨年のベンチマークから27%向上しており、これはソフトウェア強化によるものです。「これらの向上はソフトウェアのみによるものです。以前と同じハードウェアを使用しており、継続的なソフトウェア最適化により高いパフォーマンスを実現できました」とサルバトールは説明しました。

これらの進展により、MLCommonsの最新のMLPerf Inference結果は、AIハードウェアの未来とさまざまな企業アプリケーションへの適用可能性についての重要な洞察を提供しています。