Llama 3 de Meta AI se bloquea cada 3 horas en 16,384 GPUs H100: Análisis de problemas de rendimiento y soluciones.

Meta está entrenando activamente su modelo de lenguaje, Llama 3, en el campo de la inteligencia artificial. Sin embargo, el proceso de entrenamiento ha enfrentado interrupciones frecuentes. Un estudio reciente destaca estadísticas sorprendentes: durante una fase de pre-entrenamiento de 54 días para este modelo de 405 mil millones de parámetros, un clúster de 16,384 GPUs Nvidia H100 experimentó un asombroso total de 419 fallas inesperadas, lo que equivale a un promedio de una interrupción cada tres horas.

El informe indica que más de la mitad de estas fallas (58.7%) están directamente relacionadas con las GPUs y su memoria de alto ancho de banda (HBM3). Específicamente, las fallas en las GPUs, incluyendo problemas con las conexiones NVLink, representaron el 30.1%, mientras que las fallas en la memoria HBM3 contribuyeron con un 17.2%. En contraste, las CPUs solo experimentaron dos fallas durante todo el periodo de entrenamiento, lo que resalta el papel crítico de las GPUs en la computación de alto rendimiento y los desafíos que enfrentan.

A pesar de estas interrupciones frecuentes, el equipo de Meta logró más del 90% de tiempo de entrenamiento efectivo, gracias a herramientas y estrategias de gestión eficientes. Optimizaron los procesos de inicio de tareas y puntos de control, y diagnosticaron rápidamente problemas de rendimiento utilizando el perfilador NCCL de PyTorch, que ayudó a identificar GPUs con bajo rendimiento. El equipo también reconoció factores ambientales que afectan el rendimiento de las GPUs, como las fluctuaciones de temperatura al mediodía y el estrés que los grandes clústeres de GPUs generan en las redes eléctricas de los centros de datos.

A medida que los tamaños de los modelos de IA continúan creciendo, la demanda de recursos computacionales está aumentando rápidamente. Por ejemplo, si la iniciativa xAI de Meta desplegara 100,000 GPUs H100 para entrenamiento en el futuro, la tasa de fallas podría escalar dramáticamente, presentando desafíos sin precedentes para el entrenamiento de IA.

Las experiencias de Meta sirven como una advertencia crucial para la industria, subrayando la importancia de la estabilidad y la confiabilidad del hardware mientras se persigue el avance tecnológico. En el futuro, reducir las tasas de fallas del hardware sin comprometer la eficiencia del entrenamiento será una preocupación significativa para todas las empresas de IA y las instituciones de investigación.

Este estudio no solo revela los desafíos de hardware en el entrenamiento de grandes modelos de IA, sino que también proporciona datos valiosos para respaldar futuras optimizaciones y soluciones tecnológicas. A medida que la tecnología continúa evolucionando, anticipamos la aparición de plataformas de entrenamiento de IA más estables y eficientes, llevando el campo de la inteligencia artificial a nuevas alturas.