NvidiaとIntel、MLPerf 3.1ベンチマークで新しいLLMトレーニング速度記録を樹立

2023年におけるAIモデルのトレーニングは、最新のMLPerf Training 3.1ベンチマークによって、その進展が著しいことが示されています。生成AI分野の革新のペースは驚異的であり、その中でも迅速なモデルのトレーニングが重要な要素となっています。MLCommonsは、AI開発を促進するために機械学習（ML）のベンチマーク、データセット、ベストプラクティスを向上させることを目的としたオープンエンジニアリングコンソーシアムであり、MLPerfベンチマークはこのトレーニング効率を測定・定量化しています。

MLPerf Training 3.1ベンチマークには、19のベンダーからの提出があり、200を超えるパフォーマンス結果が生成されました。今回は、大規模言語モデル（LLM）のトレーニングに関するベンチマークが含まれ、GPT-3やオープンソースのStable Diffusionテキストから画像生成モデルの新しいベンチマークが追加されました。MLCommonsのエグゼクティブディレクター、デイビッド・カンターは「200以上のパフォーマンス結果を見て、50％からほぼ3倍の大幅な改善が見られます」と最近の記者会見で述べました。

LLMトレーニングがムーアの法則を上回る

MLPerf Training 3.1ベンチマークの際立った特徴は、LLMトレーニングにおけるパフォーマンスの大幅な向上です。LLMトレーニングデータが初めて含まれた6月から、MLPerf 3.1ベンチマークではLLMトレーニングのパフォーマンスがほぼ3倍向上しています。「6月の最初のラウンドの最速LLMトレーニングベンチマークと比較すると、約2.8倍のパフォーマンス向上を達成しました」とカンター氏は述べました。「今後のラウンドについては予測できませんが、この改善は印象的であり、AIの能力の素晴らしさを示しています。」

カンター氏は最近のAIトレーニングのパフォーマンス向上が、計算能力が数年ごとに倍増することを予測するムーアの法則を上回っていると考えています。「MLPerfは業界の進展を測る指標です」とも付け加えました。

業界リーダーからの重要な進展

Intel、Nvidia、Googleは、MLPerf Training 3.1ベンチマークにおいてLLMトレーニング結果で注目すべき進展を遂げています。Intelは、Habana Gaudi 2アクセラレーターが6月の結果に対して103%のトレーニング速度向上を達成したと報告しています。これは、8ビット浮動小数点（FP8）データ型を使用する技術によるもので、Intelのシニアリサーチャー、イタ・ハバラ氏は「既存のハードウェアでの結果を改善できました」と述べています。

GoogleのCloud TPU v5eも、同様にFP8を活用し、トレーニング速度を向上させる成果を示しました。Googleのクラウドアクセラレーター製品マネージャーであるヴァイバヴ・シン氏は、Cloud TPUマルチスライス技術によるスケーリング能力について説明しました。「Cloud TPUマルチスライスは、データセンターネットワーク全体で効果的にスケールします」とシン氏は述べました。「この技術により、4,096のTPU v5eチップを使用して1,024ノードまでの素晴らしいスケーリング性能を達成しました。」

NvidiaのEOSスーパーコンピューターがLLMトレーニングを強化

Nvidiaは、2022年から話題に上ったEOSスーパーコンピューターを活用し、LLMトレーニングの効率を最大化しました。その結果は、GPT-3モデルのトレーニング速度が6月のベンチマークと比較して2.8倍向上したことを示しています。Nvidiaのアクセラレーションコンピューティング製品のディレクターであるデイブ・サルバト氏は、EOSが10,752のGPUをNvidia Quantum-2 InfiniBandで接続し、400ギガビット毎秒で動作し、860テラバイトのHBM3メモリを備えていることを強調しました。「私たちが見ている速度指標は並外れています」とサルバト氏は言いました。「AI計算に関しては、40エクサフロップスを超えており、これは素晴らしいことです。」

全体として、MLPerf Training 3.1ベンチマークはAIトレーニングの急速な進展を強調し、人工知能の進化における重要な瞬間を示しています。