Nvidiaだけではなく、AIアクセラレーター市場にはIntelのGaudi 2技術も大きな進展を遂げています。Databricksの新しい研究によれば、Gaudi 2はNvidiaの先進的なAIアクセラレーターに対抗できる性能を持っています。
この研究によると、Gaudi 2は大規模言語モデル（LLM）の推論でNvidiaのH100システムと同等のレイテンシを示し、Nvidia A100を上回る性能を発揮します。さらに、Gaudi 2はH100およびA100よりも高いメモリ帯域幅の利用率を達成しています。
Nvidiaのトップクラスのアクセラレーターは依然としてトレーニング性能で優れていますが、Databricksの調査では、Gaudi 2がNvidia H100に次いで2番目に速いシングルノードのLLMトレーニング性能を提供し、一つのチップあたり260 TFLOPSを超える性能を実現していることが明らかになりました。特に、公共クラウドの価格を基にすると、Gaudi 2はA100およびH100に比べてトレーニングと推論の両方で最高のコストパフォーマンスを提供します。
Intelは、Gaudi 2のトレーニングおよび推論に関するテスト結果をMLcommonsのMLPerfベンチマークを通じて共有しており、第三者のデータによってその性能がさらに裏付けられています。Databricksの主導的なNLPアーキテクト、Abhinav Venigalla氏は「Gaudi 2の効率性に特に感銘を受けました」と述べ、最新のソフトウェアリリースにおけるGaudi 2のFP8サポートの効果を十分に探求できなかったことを指摘しました。
Intelの見解はDatabricksの発見と一致しています。Intelの子会社Habana LabsのCOO、Eitan Medina氏は、レポートがIntel内部の性能メトリクスと顧客のフィードバックを裏付けていると語りました。「私たちの主張を検証することは重要です。特にGaudiをIntelの隠れた秘密と考える人が多いことから、こうした出版物の重要性が高まっています」と強調しました。
2019年に20億ドルでHabana LabsおよびそのGaudi技術を取得して以来、Intelはその能力を継続的に強化しています。IntelとNvidiaはともにMLcommonsのMLPerfベンチマークに参加しており、定期的に更新されています。最新のMLPerf 3.1ベンチマークは11月にリリースされ、両社の新しいLLMトレーニング速度記録を示しました。
MLPerfのようなベンチマークは洞察を提供しますが、Medina氏は多くの顧客が特定のモデルやユースケースとの互換性を重視していると指摘しました。「ソフトウェアスタックの成熟度は非常に重要で、ベンダーが特定のメトリクスで過度に最適化するベンチマークには顧客が懐疑的になることもあります」と述べ、MLPerfの結果は企業がさらなるテストに投資する前の価値ある初期フィルターであると見なしています。
今後、Intelは2024年にGaudi 3 AIアクセラレーターを導入する予定です。Gaudi 3は5ナノメートルプロセスで構築され、Gaudi 2の4倍の処理能力と2倍のネットワーク帯域幅を実現することが期待されています。Medina氏は「Gaudi 3は性能の大幅な飛躍を意味し、ドルあたりの性能とワットあたりの性能を向上させる」と主張しています。
Gaudi 3以外にも、Intelは高性能計算（HPC）およびAIアクセラレーター技術を統合した次世代の開発を計画しています。また、AI推論ワークロードにおけるCPU技術の重要性も認識しており、最近AIアクセラレーションを搭載した第5世代Xeonプロセッサーを発表しました。「CPUは推論やファインチューニング作業において重要な役割を果たし、Gaudiアクセラレーターと組み合わせることで高密度AI計算ワークロードに対応できます」とMedina氏は述べ、さまざまなソリューションの必要性を強調しました。
ランキング
