SambaNova Lanza AI Samba-CoE v0.2: Superando a Databricks DBRX en Innovación y Rendimiento

El fabricante de chips de IA SambaNova Systems ha anunciado un gran avance con su modelo de lenguaje Samba-CoE v0.2. Este modelo procesa una impresionante cantidad de 330 tokens por segundo, superando a competidores notables como el recientemente lanzado DBRX de Databricks, Mixtral-8x7B de MistralAI y Grok-1 de xAI de Elon Musk.

Lo que distingue este logro es la eficiencia del modelo. Funciona a altas velocidades sin sacrificar la precisión, utilizando solo 8 sockets en comparación con alternativas que requieren 576 sockets y funcionan a tasas de bits más bajas. En nuestras pruebas, el LLM generó respuestas de manera increíblemente rápida, produciendo 330.42 tokens en solo un segundo para una respuesta completa de 425 palabras sobre la Vía Láctea. Una pregunta sobre computación cuántica arrojó una respuesta igualmente rápida, alcanzando 332.56 tokens por segundo.

Avances en Eficiencia

La estrategia de SambaNova de utilizar menos sockets mientras mantiene altas tasas de bits representa un avance significativo en la eficiencia computacional. La compañía también anticipa el próximo lanzamiento de Samba-CoE v0.3 en colaboración con LeptonAI, lo que señala una innovación continua.

Estos avances se basan en modelos de código abierto de Samba-1 y el Sambaverse, utilizando un enfoque distintivo para la agrupación y fusión de modelos. Esta metodología no solo respalda la versión actual, sino que también indica un camino escalable para futuros desarrollos.

Las comparaciones con otros modelos, incluidos Gemma-7B de GoogleAI, Mixtral-8x7B de MistralAI, Llama2-70B de Meta, Qwen-72B de Alibaba Group, Falcon-180B de TIIuae y BLOOM-176B de BigScience, destacan la ventaja competitiva de Samba-CoE v0.2 en el panorama de la IA.

Este anuncio está listo para despertar el interés en las comunidades de IA y aprendizaje automático, generando discusiones en torno a la eficiencia, el rendimiento y el futuro de la evolución de los modelos de IA.

Sobre SambaNova

Fundada en 2017 en Palo Alto, California, por Kunle Olukotun, Rodrigo Liang y Christopher Ré, SambaNova Systems inicialmente se centró en chips de hardware para IA. Su misión se ha ampliado para abarcar una amplia gama de ofertas, incluidos servicios de aprendizaje automático y la SambaNova Suite, una plataforma integral de capacitación, desarrollo y despliegue de IA empresarial lanzada a principios de 2023. A principios de este año, la compañía presentó Samba-1, un modelo de IA de 1 billón de parámetros derivado de 50 modelos más pequeños en un enfoque de "Composición de Expertos".

Esta transición de una startup centrada en hardware a un innovador de IA integral refleja el compromiso de los fundadores por hacer que las tecnologías de IA sean escalables y accesibles. SambaNova se está estableciendo como un competidor formidable frente a gigantes de la industria como Nvidia, habiendo recaudado 676 millones de dólares en financiamiento de Serie D con una valoración que supera los 5 mil millones de dólares en 2021. Hoy en día, compite con otras startups de chips de IA como Groq, además de jugadores establecidos como Nvidia.