Llama 3 de Meta AI Crash toutes les 3 heures sur 16 384 GPU H100 : Analyse des problèmes de performance et solutions.

Meta forme activement son modèle linguistique, Llama 3, dans le domaine de l'intelligence artificielle. Cependant, le processus d'entraînement a connu de fréquentes interruptions. Une étude récente révèle des statistiques choquantes : durant une phase de pré-formation de 54 jours pour ce modèle de 405 milliards de paramètres, un cluster de 16 384 GPU Nvidia H100 a enregistré un incroyable nombre de 419 pannes imprévues, soit en moyenne une interruption toutes les trois heures.

Le rapport indique que plus de la moitié de ces pannes (58,7 %) sont directement liées aux GPU et à leur mémoire à large bande (HBM3). Plus précisément, les pannes de GPU, y compris les problèmes de connexions NVLink, représentaient 30,1 %, tandis que les pannes de mémoire HBM3 contribuaient à 17,2 %. En revanche, les CPU n'ont enregistré que deux pannes durant toute la période d'entraînement, soulignant le rôle essentiel des GPU dans l'informatique haute performance et les défis auxquels ils font face.

Malgré ces interruptions fréquentes, l'équipe de Meta a atteint plus de 90 % de temps d'entraînement effectif, grâce à des outils et des stratégies de gestion efficaces. Ils ont optimisé l'initiation des tâches et les processus de validation, et diagnostiqué rapidement les problèmes de performance en utilisant le profileur NCCL de PyTorch, qui a aidé à identifier les GPU sous-performants. L'équipe a également pris en compte des facteurs environnementaux affectant la performance des GPU, tels que les fluctuations de température à midi et le stress que les grands clusters de GPU exercent sur les réseaux électriques des centres de données.

Avec la croissance continue des tailles des modèles d'IA, la demande en ressources de calcul augmente rapidement. Par exemple, si l'initiative xAI de Meta déployait 100 000 GPU H100 pour l'entraînement à l'avenir, le taux de pannes pourrait augmenter considérablement, posant des défis sans précédent pour la formation en IA.

Les expériences de Meta servent d'avertissement essentiel pour le secteur, soulignant l'importance de la stabilité et de la fiabilité du matériel tout en poursuivant les avancées technologiques. À l'avenir, réduire les taux de pannes matérielles sans compromettre l'efficacité des formations sera une préoccupation majeure pour toutes les entreprises et institutions de recherche en IA.

Cette étude révèle non seulement les défis matériels dans l'entraînement de grands modèles d'IA, mais fournit également des données précieuses pour soutenir les optimisations et solutions technologiques futures. À mesure que la technologie évolue, nous anticipons l'émergence de plateformes d'entraînement IA plus stables et efficaces, propulsant le domaine de l'intelligence artificielle vers de nouveaux sommets.