MLPerf 4.0 トレーニング結果: AIパフォーマンス向上を最大80%達成！

機械学習とAIトレーニングの革新が加速

機械学習（ML）と人工知能（AI）のトレーニングは、特に進化した生成AIタスクの出現に伴い、急速に進歩しています。最近、MLCommonsがMLPerf 4.0トレーニングベンチマークを発表し、業界での記録的なパフォーマンスを示しました。このベンダー中立基準は業界で広く認識されており、17の組織が貢献し、205以上の結果が含まれています。MLPerfのトレーニングが更新されたのは、2023年11月のバージョン3.1以来のことです。

MLPerf 4.0ベンチマークは、Stable Diffusionを使用した画像生成やGPT-3の大規模言語モデル（LLM）トレーニングなど、重要な進展を網羅しています。注目すべきは、新たに設けられたLoRAベンチマークで、これはLlama 2 70B言語モデルをドキュメント要約に特化して効率的にファインチューニングします。

前回のサイクルと比較すると、成果は驚異的です。MLCommonsの創設者兼エグゼクティブディレクターであるデビッド・カンター氏は、記者会見で「6か月前と比べて、一部のベンチマークではStable Diffusionにおいて約2倍の性能向上が見られます。これは半年前だけのことと考えると実に印象的です。」と述べました。

具体的には、Stable Diffusionのトレーニングは2023年11月と比較して1.8倍の速さを実現しています。また、GPT-3のトレーニングは最大で1.2倍の速度向上を示します。

AIトレーニングパフォーマンス：ハードウェアを超えて

AIモデルのトレーニングにおいてハードウェアは重要な役割を果たしますが、クラスタ内のソフトウェアやネットワーク接続も同様に重要です。カンター氏は「AIトレーニングのパフォーマンスは、効率を向上させる様々な要素に依存しています。複数のプロセッサやアクセラレータ間のタスク配分やコミュニケーションが重要です」と指摘しました。

ベンダーは、優れたSiriコンの利用だけでなく、より高度なアルゴリズムやスケーリングを活用して、時間とともに性能を向上させています。

ホッパーアーキテクチャを活用したNvidiaのトレーニングリーダーシップ

NvidiaはMLPerf 4.0ベンチマークで特に優れた成果を上げ、9つのテストワークロード中5つで新たなパフォーマンス記録を達成しました。これらのベンチマークは主に2023年6月と同じコアハードウェアプラットフォームを使用して設定されています。

NvidiaのAIディレクターであるデビッド・サルヴァトール氏は、H100ホッパーアーキテクチャの継続的な価値を強調しました。「Nvidiaの歴史において、我々は通常、製品ライフサイクル中にソフトウェアの革新により2倍から2.5倍の性能向上を達成しています。」と述べました。

NvidiaはMLPerf 4.0の性能を向上させるために、フルスタック最適化、FP8カーネルの微調整、最適化されたcuDNN FlashAttentionなど、さまざまな戦略を採用しました。

企業にとってのMLPerfトレーニングベンチマークの重要性

MLPerfベンチマークは、組織に標準化されたトレーニングパフォーマンスの指標を提供しますが、その価値は単なる数値にとどまりません。サルヴァトール氏は、パフォーマンスを向上させることが既存のハードウェアで可能なことを示し、Nvidiaが確立されたアーキテクチャから持続的な利益を引き出せることを強調しました。組織が特にオンプレミスで新規導入を計画する際、初期投資後の継続的な改善の可能性は極めて重要です。「パフォーマンスの重要性に関しては、簡潔に言えば、ビジネスの投資収益率を向上させるということです。」と結論付けました。