Hailo Compite con Nvidia: Presenta su Acelerador de IA Generativa Eficiente Energéticamente para Dispositivos Edge y Asegura $120 Millones en Financiamiento

A medida que Nvidia prospera en el mercado de la inteligencia artificial generativa con su amplia gama de hardware y software, startups como Hailo están surgiendo para competir. Hailo, una startup con sede en Israel, ha lanzado el Hailo-10, un nuevo acelerador de IA generativa de alta eficiencia energética, diseñado específicamente para dispositivos en el borde.

El procesador Hailo-10 permite que las aplicaciones de IA generativa funcionen en dispositivos en el borde, como vehículos y robots comerciales, sin depender de centros de datos en la nube. Hailo afirma que esto mejorará significativamente el rendimiento de los modelos, al tiempo que reducirá costos y consumo de energía.

Junto con el lanzamiento del Hailo-10, la empresa anunció una ampliación de su ronda de financiación Serie C, asegurando $120 millones adicionales. Esta inversión, liderada por nuevos y existentes inversores de diversas industrias, valora a Hailo en $1.2 mil millones. "Este financiamiento nos permitirá capitalizar oportunidades emocionantes en nuestro pipeline y nos posiciona para un crecimiento a largo plazo", dijo Orr Danon, cofundador y CEO de Hailo. Resaltó que el acelerador Hailo-10 integrará la IA generativa en la vida diaria, empoderando a los usuarios para aprovechar herramientas como chatbots y generadores de contenido con una flexibilidad sin precedentes.

Qué Esperar del Acelerador de IA Generativa Hailo-10

La IA generativa ya está transformando las empresas al crear contenido de marketing y simular conversaciones humanas. Sin embargo, sus capacidades en el borde aún están en gran medida sin explorar. Hailo busca hacer realidad funcionalidades sofisticadas, como robots capaces de interacción natural con humanos, con su nuevo procesador.

Mientras que el hardware de IA tradicional en centros de datos en la nube puede soportar aplicaciones en el borde, la computación en la nube a menudo sufre de latencia debido a retrasos en el procesamiento de datos. El Hailo-10 supera este desafío ejecutando servicios de IA generativa directamente en los dispositivos, mejorando sus capacidades de procesamiento.

Ya sea automatizando traducciones en tiempo real, generando código de software, o creando imágenes y videos a partir de texto, el Hailo-10 permite a los usuarios realizar estas tareas directamente en PCs u otros sistemas en el borde sin sobrecargar la CPU ni agotar la batería, según Danon.

Utilizando la misma suite de software que sus predecesores, Hailo-8 y Hailo-15, el Hailo-10 opera con una impresionante relación de potencia-rendimiento. Puede ejecutar Llama2-7B a hasta 10 tokens por segundo utilizando menos de 5W de potencia, mientras genera imágenes con Stable Diffusion 2.1 en menos de 5 segundos.

A medida que la IA generativa en el borde se vuelve más inmersiva, el enfoque se centra en gestionar grandes modelos de lenguaje (LLMs) dentro de envolventes de potencia mínimas, idealmente por debajo de cinco vatios. El Hailo-10 alcanza hasta 40 TOPS (tera operaciones por segundo), estableciendo un nuevo estándar de rendimiento para aceleradores de IA en el borde.

En comparación, la línea Jetson de Nvidia, que maneja cargas de trabajo de IA en el borde, ofrece hasta 275 TOPS, pero también consume más energía. Para aplicaciones de IA en el borde de nivel básico, el Orin Nano de Nvidia ofrece hasta 40 TOPS, con un consumo de energía que varía de 5W a 15W. Danon destacó que el Hailo-10 demuestra un rendimiento superior para inferencias en comparación con soluciones basadas en GPU, gracias a su rentabilidad y menores necesidades de energía, lo que lo hace adecuado para sistemas de borde más compactos.

Industrias Objetivo Iniciales para Hailo-10

Hailo planea dirigirse a los sectores de PC e información automotriz cuando el Hailo-10 comience a enviarse en el segundo trimestre de 2024. Sin embargo, aún está por verse cuándo se expandirá a aplicaciones como robots impulsados por IA generativa, un área ya explorada por Nvidia con su proyecto GR00T.

Actualmente, Hailo se asocia con 300 clientes globales en diversos sectores, incluidos computación, automotriz, seguridad, Industria 4.0, comercio minorista y salud, destacando empresas notables como NEC, Bosch, Schneider Electric, Dell, ABB y Foxconn.

En conclusión, el innovador acelerador de IA generativa Hailo-10 podría redefinir la computación en el borde, ofreciendo alternativas energéticamente eficientes a las soluciones existentes mientras mejora las capacidades de una variedad de aplicaciones.