Etched ha recaudado con éxito 120 millones de dólares para desafiar a Nvidia en el mercado de chips de inteligencia artificial. La compañía está desarrollando un nuevo chip llamado Sohu, diseñado para manejar un aspecto crucial del procesamiento de IA: la arquitectura de transformadores. Al integrar esta arquitectura directamente en sus chips, Etched afirma estar creando los servidores más potentes para la inferencia de transformadores, declarando a Sohu como el chip de transformadores más rápido jamás fabricado.
Este anuncio es especialmente relevante, ya que Nvidia superó recientemente a Microsoft para convertirse en la empresa más valiosa del mundo, alcanzando una valoración de 3.3 billones de dólares. Etched, respaldada por inversores influyentes como Peter Thiel, confía en la capacidad de su equipo de 35 miembros para competir con Nvidia. La ronda de financiamiento, liderada por Primary Venture Partners y Positive Sum Ventures, atrajo a inversores institucionales como Hummingbird, Fundomo, Fontinalis, Lightscape, Earthshot, Two Sigma Ventures y Skybox Data Centers. Entre los destacados inversores ángeles se encuentran Peter Thiel, Stanley Druckenmiller, David Siegel, Balaji Srinivasan, Amjad Masad, Kyle Vogt, Kevin Hartz, Jason Warner, Thomas Dohmke, Bryan Johnson, Mike Novogratz, Immad Akhund, Jawed Karim y Charlie Cheeve.
Alex Handy, director de la Thiel Fellowship, comentó: "Invertir en Etched es una apuesta estratégica por el futuro de la IA. Sus chips abordan problemas de escalabilidad que los competidores temen enfrentar, ayudando a combatir la stagnación observada en otras partes de la industria. Los fundadores representan el talento no convencional que apoyamos, habiendo abandonado Harvard para afrontar el desafío de los semiconductores. Están allanando el camino para que Silicon Valley innove sin la carga de preocupaciones tecnológicas heredadas."
La demanda de GPUs potentes continúa creciendo. Etched fue fundada por los estudiantes que abandonaron Harvard, Robert Wachen, Gavin Uberti y Chris Zhu, quienes han realizado un compromiso significativo con la IA desde junio de 2022 apostando por el potencial transformador del modelo de transformadores. Históricamente, diversos modelos de IA como CNNs, RNNs y U-Nets han desempeñado papeles importantes en sus respectivos campos, pero los transformadores (la “T” en ChatGPT) han surgido como el primer modelo de IA escalable.
"Creemos que la inteligencia continuará escalando con la computación. Nuestra apuesta es que las empresas invertirán miles de millones en modelos de IA que funcionen en chips especializados," dijo el CEO Gavin Uberti en una publicación del blog. "Durante los últimos dos años, hemos desarrollado Sohu, el primer ASIC especializado del mundo para transformadores. Este chip no puede ejecutar modelos de IA tradicionales, como DLRMs que mejoran los feeds de Instagram o modelos de plegamiento de proteínas, ni puede manejar CNNs o RNNs. Sin embargo, para transformadores, Sohu no tiene comparación en velocidad y accesibilidad, superando incluso a las próximas GPUs Blackwell de Nvidia."
Uberti enfatizó que el panorama de los modelos de IA ha cambiado drásticamente hacia los transformadores, ejemplificado por desarrollos como ChatGPT, Sora, Gemini y Stable Diffusion 3. Si surgen nuevas arquitecturas, como SSMs o mezcladores monárquicos, los chips de Etched podrían perder relevancia. Sin embargo, si sus predicciones se cumplen, Sohu podría cambiar completamente las reglas del juego. La compañía se está asociando con TSMC para fabricar en el avanzado nodo de 4nm.
¿Por qué esta apuesta? Etched se centra en transformadores. La clave para lograr la superinteligencia, según Etched, radica en la escala. En solo cinco años, los modelos de IA han evolucionado de formas rudimentarias a superar las capacidades humanas en pruebas estandarizadas, impulsados principalmente por la expansión de la escala.
Al expandir los modelos de IA y mejorar la calidad de los datos de entrenamiento, estos sistemas se vuelven significativamente más inteligentes. La cantidad de FLOPS requeridos para entrenar modelos líderes ha aumentado en un sorprendente 50,000 veces desde GPT-2 hasta Llama-3-400B en cinco años. Uberti explicó que, mientras que las arquitecturas de IA solían evolucionar rápidamente, con una multitud de modelos emergiendo, los sistemas de última generación actuales, como Llama 3, son muy similares a sus predecesores como GPT-2, con ajustes mínimos. Esta tendencia probablemente continuará.
"Todos los actores principales, incluidos Google, OpenAI, Amazon y Microsoft, están invirtiendo más de 100 mil millones de dólares en centros de datos de IA," señaló Uberti. A pesar de las opiniones divergentes en el ámbito académico, los principales laboratorios de IA están de acuerdo en que escalar modelos de lenguaje grandes (LLMs) nos llevará hacia la superinteligencia. Uberti enfatizó: "Estamos presenciando la mayor expansión de infraestructura en la historia. Las leyes de escalabilidad han mostrado un éxito consistente en los últimos diez órdenes de magnitud (de $10^16 a $10^{26} FLOPS). Si las proyecciones se cumplen para los próximos cuatro órdenes (hasta $10^{30} FLOPS), la superinteligencia estará al alcance, y los chips de IA dominarán la demanda del mercado.”
Los chips flexibles han alcanzado su meseta. La perspectiva de Etched sobre las GPUs. En los últimos años, los cambios frecuentes en la arquitectura de modelos, como CNNs, DLRMs y LSTMs, dominaron el paisaje de la IA, cada uno incurriendo en costos sustanciales. El mercado general de chips de IA osciló entre 10 y 20 mil millones de dólares. Para atender a este amplio mercado, muchas empresas desarrollaron chips de IA versátiles para una variedad de arquitecturas, incluidos los GPUs de Nvidia, los TPUs de Google, el Trainium de Amazon, entre otros. Sin embargo, todos han luchado por igualar el rendimiento del H100 de Nvidia.
Uberti comentó: "Muchos competidores afirman ganancias de rendimiento al combinar múltiples chips en una sola tarjeta, mientras que en realidad, el rendimiento por área se ha mantenido estancado; los desafíos aún persisten para cualquiera que busque hacer la transición de las GPUs." Etched sostiene que todos los grandes mercados de computación eventualmente gravitan hacia chips especializados, desde redes hasta la minería de Bitcoin, ofreciendo vastas ventajas de rendimiento sobre las GPUs. Uberti afirmó: "Debido a las enormes apuestas financieras en la IA, la especialización es inevitable."
Etched predice que la mayoría de la inversión se centrará en modelos que superen los 10 billones de parámetros, que probablemente funcionarán desde unos pocos grandes centros de datos en la nube, resonando tendencias observadas en la fabricación de chips donde instalaciones de alto costo y alta resolución han reemplazado a las más pequeñas. "Incluso si se desarrolla una arquitectura superior, la transición de los transformadores implica desafíos significativos, ya que el trabajo fundamental debe rehacerse en varios aspectos técnicos," añadió. A medida que aumenta la complejidad de los modelos de IA y crecen los costos de entrenamiento, la demanda de chips especializados crecerá, posicionando a los primeros adoptantes como líderes en el campo.
Etched se posiciona para liderar. Los fundadores—Wachen, Uberti y Zhu—afirman que hasta la fecha no se han construido chips de IA específicos para arquitecturas. Anteriormente, crear chips tan especializados requería una demanda sustancial y convicción sobre su viabilidad a largo plazo. "Hemos optado por invertir en transformadores, que están ganando rápidamente tracción," dijo Uberti.
Con la creciente demanda de inferencia de transformadores superando ahora los 5 mil millones de dólares, grandes actores tecnológicos, incluidos OpenAI, Google, Amazon y Microsoft, han integrado modelos de transformadores en sus operaciones. Uberti destacó que distintas arquitecturas se han consolidado significativamente. Modelos como la serie GPT de OpenAI, PaLM de Google y LLaMa de Facebook están centrados mayormente en transformadores.
“Estamos avanzando rápidamente para realizar el potencial de Sohu,” afirmó. “Estamos en camino hacia el ciclo de desarrollo más rápido para un die validado de 4nm. Colaborando con TSMC, estamos asegurando HBM3E de proveedores de primer nivel, reservando decenas de millones para empresas de IA.”
La compañía también resaltó que los modelos de IA hoy suelen ser demasiado costosos y lentos para ofrecer productos de manera efectiva, enfrentando desafíos como altos costos operativos para agentes de codificación de IA y tiempos de procesamiento lentos para modelos de video.
Uberti concluyó: “Con Sohu, podemos transformar el paisaje. Las capacidades de video, audio, agentes y búsqueda en tiempo real están finalmente al alcance, mejorando radicalmente la viabilidad económica de los productos de IA."
¿Puede Etched superar a Nvidia? El enfoque distintivo de Etched hacia el procesamiento paralelo la posiciona de manera única en el mercado. En respuesta a preguntas sobre cómo una compañía más pequeña podría eclipsar a Nvidia, el COO Robert Wachen explicó: "Históricamente, el mercado de computación de IA estaba fragmentado, con numerosos modelos en uso activo. Se han gastado miles de millones en modelos de transformadores, lo que indica un cambio hacia la especialización. Aunque nuestros chips no superarán a las GPUs en cargas de trabajo generalizadas, dominarán la inferencia de transformadores, esencial para productos de IA generativa."
Esta especialización le otorga a Etched una ventaja competitiva, permitiendo que sus chips se destaquen donde otros no pueden.
Clasificación
