Databricks Investiga y Confirma: Intel Gaudi Supera a Nvidia en Rendimiento-Costo para Aceleradores de IA

Nvidia no está sola en el panorama de aceleradores de IA; Intel está avanzando significativamente con su tecnología Gaudi 2, según una nueva investigación de Databricks.

El estudio revela que Intel Gaudi 2 compite fuertemente contra los aceleradores de IA líderes de Nvidia. En la inferencia de modelos de lenguaje grande (LLM), Gaudi 2 iguala la latencia de los sistemas Nvidia H100 en decodificación y supera el rendimiento del Nvidia A100. Además, Gaudi 2 logra una mayor utilización del ancho de banda de memoria en comparación con el H100 y el A100.

Si bien los aceleradores de gama alta de Nvidia todavía ofrecen un rendimiento superior en entrenamiento, Databricks encontró que Gaudi 2 proporciona la segunda mejor rendimiento de entrenamiento de LLM por nodo único, después del Nvidia H100, alcanzando más de 260 TFLOPS por chip. Notablemente, con base en precios de la nube pública, Gaudi 2 ofrece la mejor relación costo-rendimiento tanto en entrenamiento como en inferencia en comparación con el A100 y el H100.

Intel también está compartiendo los resultados de las pruebas de Gaudi 2 a través del benchmark MLPerf de MLcommons para entrenamiento e inferencia, validando aún más el rendimiento de la tecnología con datos de terceros. “Nos impresionó la eficiencia de Gaudi 2, particularmente en la inferencia de LLM”, comentó Abhinav Venigalla, arquitecto principal de NLP en Databricks. Señaló que el equipo no tuvo tiempo para explorar completamente los beneficios de rendimiento del soporte FP8 de Gaudi 2 en la última versión de software.

Las percepciones de Intel se alinean con los hallazgos de Databricks. Eitan Medina, COO de Habana Labs (una subsidiaria de Intel), afirmó que el informe respalda las métricas de rendimiento internas de Intel y la retroalimentación de los clientes. “Validar nuestras afirmaciones es esencial, especialmente porque muchos consideran que Gaudi es el mejor secreto guardado de Intel”, destacó, enfatizando la importancia de estas publicaciones para aumentar la visibilidad.

Desde la adquisición de Habana Labs y su tecnología Gaudi en 2019 por $2 mil millones, Intel ha mejorado continuamente sus capacidades. Tanto Intel como Nvidia participan activamente en los benchmarks de MLcommons MLPerf, que se actualizan regularmente. Los últimos benchmarks MLPerf 3.1, publicados en noviembre, mostraron nuevos récords de velocidad de entrenamiento de LLM para ambas compañías, complementados por un rendimiento competitivo en las pruebas de inferencia de septiembre.

Aunque los benchmarks como MLPerf son informativos, Medina señaló que muchos clientes priorizan sus pruebas para asegurar compatibilidad con modelos y casos de uso específicos. “La madurez de la pila de software es crucial, ya que los clientes a veces son escépticos de benchmarks donde los vendedores optimizan en gran medida para métricas específicas”, comentó. Considera que los resultados de MLPerf son un filtro inicial valioso antes de que las empresas inviertan más tiempo en pruebas.

De cara al futuro, Intel se prepara para lanzar el acelerador de IA Gaudi 3 en 2024. Gaudi 3, construido con un proceso de 5 nanómetros, promete ofrecer cuatro veces la potencia de procesamiento y el doble de ancho de banda en comparación con Gaudi 2. Medina afirmó: “Gaudi 3 representa un salto significativo en rendimiento, mejorando la relación rendimiento por dólar y por vatio”.

Más allá de Gaudi 3, Intel planea desarrollar futuras generaciones que integren tecnologías de computación de alto rendimiento (HPC) y aceleradores de IA. La compañía también reconoce la importancia de sus tecnologías de CPU para cargas de trabajo de inferencia en IA, anunciando recientemente los procesadores Xeon de 5ª generación con aceleración de IA. “Las CPUs siguen desempeñando un papel crucial en tareas de inferencia y ajuste fino, especialmente cuando se combinan con aceleradores Gaudi para cargas de trabajo de IA de alta densidad”, concluyó Medina, abogando por una variedad diversa de soluciones.