Reka, una startup de inteligencia artificial con sede en San Francisco, fundada por investigadores de DeepMind, Google y Meta, ha lanzado un nuevo modelo de lenguaje multimodal llamado Reka Core. Este modelo, considerado el “más grande y capaz” de la empresa, fue entrenado desde cero utilizando miles de GPUs.
Disponible hoy a través de API, opciones locales o implementación en dispositivos, Reka Core es la tercera adición a la familia de modelos de lenguaje de la compañía. Destaca en la comprensión de múltiples modalidades, incluyendo texto, imágenes, audio y video. A pesar de haber sido entrenado en menos de un año, su rendimiento compite con el de gigantes de la industria como OpenAI, Google y Anthropic.
“Esta capacidad de entrenar modelos de alto rendimiento en un corto periodo de tiempo nos diferencia”, afirmó Dani Yogatama, cofundador y CEO de la empresa de 22 personas, en una reciente entrevista.
Reka Core fue probado en “3 Body Problem” de Netflix, traduciendo con éxito las acciones en pantalla a texto. Yi Tay, científico jefe y cofundador de Reka, destacó que el modelo fue desarrollado utilizando "miles de H100s". Competir contra modelos líderes como GPT-4 de OpenAI y Claude 3 Opus de Anthropic no es tarea sencilla; sin embargo, Tay aseguró que el rendimiento de Core sigue mejorando.
¿Qué Ofrece Reka Core?
Si bien el número exacto de parámetros en Reka Core no se ha revelado, se describe como un “modelo muy grande” (la versión anterior, Reka Flash, contenía 21 mil millones de parámetros). Fue entrenado con diversas fuentes de datos, incluyendo datos licenciados, de acceso público y sintéticos en formatos de texto, audio, video e imagen.
Este entrenamiento integral permite a Reka Core procesar múltiples modalidades y responder con precisión en diversas áreas, como matemáticas y programación, mostrando una capacidad de razonamiento excepcional. Soporta 32 idiomas y tiene una ventana de contexto de 128,000 tokens, lo que lo hace apto para trabajar con documentos extensos. Yogatama mencionó que Core es solo el segundo modelo, después de Gemini Ultra de Google, en abarcar todas las modalidades y ofrecer salidas de alta calidad.
En pruebas de rendimiento, Reka Core superó a Gemini Ultra en percepción de video, anotando 59.3 frente a 54.3. En el benchmark MMMU para tareas de imagen, se acercó a GPT-4 (56.8), Claude 3 Opus (59.4) y Gemini Ultra (59.4), con un puntaje de 56.3. En contraste, el modelo Grok, capaz de visión de xAI de Elon Musk, solo obtuvo 53.6.
Evaluaciones independientes clasificaron a Reka Core como el segundo mejor en rendimiento multimodal. Además, Core igualó o superó el desempeño de modelos prominentes en varios benchmarks. En las pruebas de conocimiento MMLU, consiguió una puntuación de 83.2, siguiendo de cerca a GPT-4, Claude 3 Opus y Gemini Ultra. También superó a GPT-4 en tareas de razonamiento y codificación, con puntuaciones de 92.2 y 76.8, respectivamente.
Para alcanzar este rendimiento en un corto periodo, la empresa adoptó un enfoque de desarrollo inverso. En lugar de entrenar el modelo de forma tradicional, establecieron un objetivo de rendimiento específico y trabajaron hacia atrás para determinar el volumen de datos y requisitos de GPU necesarios para lograrlo.
Alianzas y Planes Futuros
Con un enfoque en capacidades multimodales y precios competitivos—$10 por millón de tokens de entrada y $25 por millón de tokens de salida—Reka busca explorar diversos casos de uso en industrias como comercio electrónico, videojuegos, salud y robótica. A modo de referencia, GPT-4 Turbo de OpenAI cobra lo mismo por tokens de entrada, pero $30 por tokens de salida.
Aunque todavía está en sus primeras etapas, Reka trabaja activamente para desafiar la domninación de OpenAI, Anthropic y Google. La startup ya ha iniciado colaboraciones con socios de la industria; por ejemplo, Snowflake ha incorporado Reka Core y Flash en su servicio Cortex para desarrollar aplicaciones de modelos de lenguaje. También se han establecido alianzas con Oracle y AI Singapore, que une instituciones de investigación con sede en Singapur.
Yogatama mencionó que desde el lanzamiento de los modelos iniciales en la familia Reka (Flash y Edge), el fuerte interés de las empresas ha dado lugar a un creciente pipeline de clientes. Se esperan más detalles sobre alianzas pronto.
Con el primer año centrado en llevar modelos al mercado, Reka planea mejorar sus ofertas mientras escala sus operaciones comerciales. El equipo está comprometido a mejorar el rendimiento de Core y desarrollar su próxima versión simultáneamente.
A pesar de los avances continuos, Yogatama aclaró que la empresa no tiene planes inmediatos de liberar su tecnología como código abierto. Defiende los principios de código abierto, pero enfatiza la necesidad de equilibrar lo que se comparte para garantizar un crecimiento empresarial sostenible.
Panorama Competitivo de Reka Core
A medida que Reka Core se presenta en el competitivo panorama de la IA, demuestra capacidades prometedoras que lo posicionan en la contienda con los modelos líderes actuales en el mercado.
Clasificación
