Résultats de Formation MLPerf 4.0 : Découvrez des Gains de Performance en IA allant jusqu'à 80 %

L'Innovation dans le Machine Learning et la Formation en IA s'Accélére

Les avancées dans le machine learning (ML) et la formation en intelligence artificielle (IA) évoluent rapidement, notamment avec l'émergence de tâches génératives plus sophistiquées. Aujourd'hui, MLCommons a dévoilé la référence de formation MLPerf 4.0, mettant en avant des niveaux de performance record. Ce standard neutre vis-à-vis des fournisseurs est largement reconnu dans l'industrie, avec des contributions de 17 organisations et plus de 205 résultats. Cette version marque la première mise à jour de MLPerf depuis la version 3.1 en novembre 2023.

Les benchmarks MLPerf 4.0 englobent des développements significatifs, y compris la génération d'images utilisant Stable Diffusion et la formation de modèles de langage large (LLM) pour GPT-3. Parmi les résultats notables figure un nouveau benchmark LoRA qui ajuste le modèle linguistique Llama 2 70B pour la synthèse de documents en mettant l'accent sur l'efficacité des paramètres.

Comparés au dernier cycle, les gains sont remarquables. « Par rapport à il y a six mois, certains benchmarks ont montré près de 2x d'amélioration des performances, en particulier avec Stable Diffusion », a déclaré David Kanter, fondateur et directeur exécutif de MLCommons, lors d'une conférence de presse. « C'est impressionnant pour seulement six mois. » En effet, la formation avec Stable Diffusion est 1,8x plus rapide par rapport à novembre 2023, tandis que la formation pour GPT-3 connaît une augmentation de vitesse allant jusqu'à 1,2x.

Performance de la Formation en IA : Au-delà du Matériel

Bien que le matériel joue un rôle majeur dans la formation des modèles d'IA, les logiciels et la connectivité réseau au sein des clusters sont également essentiels. « La performance de formation en IA dépend de divers leviers qui améliorent l'efficacité », a observé Kanter. « La distribution des tâches et la communication entre plusieurs processeurs ou accéléra­teurs sont cruciales. » Les fournisseurs ne se contentent pas d'exploiter des silicons supérieurs, ils utilisent également des algorithmes avancés et s'adaptent pour améliorer la performance au fil du temps.

Le Leadership de Nvidia dans la Formation avec l'Architecture Hopper

Nvidia a particulièrement excellé dans les benchmarks MLPerf 4.0, établissant de nouveaux records de performance dans cinq des neuf charges de travail testées. De manière impressionnante, ces benchmarks ont été principalement réalisés avec les mêmes plateformes matérielles qu'en juin 2023. David Salvator, directeur de l'IA chez Nvidia, a souligné la valeur continue de l'architecture H100 Hopper. « Au cours de l'histoire de Nvidia, nous atteignons généralement des améliorations de performance de 2x à 2,5x grâce à des innovations logicielles durant le cycle de vie d'un produit », a-t-il déclaré.

Nvidia a employé plusieurs stratégies pour améliorer ses performances pour MLPerf 4.0, y compris l'optimisation complète, des noyaux FP8 finement réglés et un FlashAttention cuDNN optimisé.

Importance des Benchmarks de Formation MLPerf pour les Entreprises

Les benchmarks MLPerf offrent aux organisations des indicateurs standardisés sur la performance de formation, mais leur valeur dépasse de simples chiffres. Salvator a souligné que les améliorations de performance sont atteintes avec du matériel existant, prouvant que Nvidia peut tirer des bénéfices durables de ses architectures établies. À mesure que les organisations planifient de nouveaux déploiements, notamment sur site, le potentiel d'améliorations continues après l'investissement initial est crucial. « En termes de signification de la performance, la réponse simple est qu'elle génère un retour sur investissement pour les entreprises », a-t-il conclu.