Grok-2 Boosted: Desarrolladores Renuevan Código en Solo Tres Días para Mejorar el Rendimiento

xAI de Elon Musk ha captado recientemente la atención con el lanzamiento de su chatbot Grok-2, un modelo de lenguaje grande (LLM) ahora disponible mediante una suscripción mensual de $8 en la red social X. Ambas versiones de Grok-2, incluyendo la más rápida y menos potente Grok-2 mini, han visto un aumento significativo en su velocidad de procesamiento de información y tiempo de respuesta. Esta mejora sigue a una reescritura completa del código de inferencia por parte de los desarrolladores de xAI, Igor Babuschkin, Lianmin Zheng y Saeed Maleki, en tan solo tres días.

Babuschkin compartió en X: “Grok 2 mini ahora es 2 veces más rápido que ayer. En los últimos tres días, @lm_zheng y @MalekiSaeed reescribieron nuestra pila de inferencia desde cero usando SGLang. Esta mejora nos permite ofrecer el modelo Grok 2 más grande, que requiere inferencia en múltiples anfitriones, a una velocidad razonable. Ambos modelos son no solo más rápidos, sino también ligeramente más precisos. ¡Estén atentos para mejoras de velocidad futuras!”

SGLang, un sistema eficiente y de código abierto para ejecutar programas complejos de modelos de lenguaje, fue clave en esta reescritura, logrando hasta 6.4 veces más rendimiento que los sistemas existentes. Desarrollado por investigadores de la Universidad de Stanford, UC Berkeley, la Universidad A&M de Texas y la Universidad Jiao Tong de Shanghái, SGLang simplifica la programación para aplicaciones de modelos de lenguaje al integrar un lenguaje de frontend con un runtime en backend. Admite varios modelos, incluyendo Llama, Mistral y LLaVA, y funciona tanto con modelos de pesos abiertos como con modelos basados en API como GPT-4 de OpenAI.

Destacados de Rendimiento de Grok-2 y Grok-2 Mini

En la última actualización del leaderboard de Lmsys Chatbot Arena, Grok-2 ha asegurado la posición #2 con una puntuación de Arena de 1293, basada en 6686 votos. Esto lo clasifica como el segundo modelo de IA más potente a nivel global, empatando con Google Gemini-1.5 Pro y solo detrás de ChatGPT-4o de OpenAI.

Grok-2 mini, beneficiándose de mejoras recientes, ha ascendido al #5 con una puntuación de 1268 de 7266 votos, justo detrás de GPT-4o mini y Claude 3.5 Sonnet. Ambos modelos reflejan el compromiso de xAI con el avance de la tecnología de IA.

Grok-2 destaca especialmente en tareas matemáticas, ocupando el puesto #1, y mantiene posiciones sólidas en varias categorías, como Hard Prompts, Coding e Instruction-following. Este rendimiento coloca a Grok-2 por delante de otros modelos líderes, incluyendo GPT-4o de OpenAI, que actualmente está en la posición #4.

Desarrollos Futuros

Babuschkin ha señalado que la principal ventaja de Grok-2 mini sobre el modelo completo Grok-2 es su velocidad superior. También mencionó los esfuerzos en curso para mejorar aún más la velocidad de procesamiento de Grok-2 mini, lo que podría hacerlo una opción más atractiva para usuarios que priorizan un alto rendimiento con menores recursos computacionales.

La inclusión de Grok-2 y Grok-2 mini en el leaderboard de Chatbot Arena ha generado gran interés en la comunidad de IA, demostrando el compromiso de xAI con la innovación y su impulso para expandir las capacidades de la tecnología de IA. Con mejoras continuas, Grok-2 y Grok-2 mini están en camino de liderar futuros avances en IA, prometiendo mayor velocidad y precisión.