Grok-2 Boosté : Les développeurs améliorent le code en seulement trois jours pour une performance optimisée.

xAI d’Elon Musk a récemment fait parler de lui avec le lancement de Grok-2, son chatbot basé sur un modèle de langage large (LLM), désormais disponible par le biais d’un abonnement mensuel de 8 $ sur le réseau social X.

Les deux versions de Grok-2, y compris le Grok-2 mini, plus rapide mais moins puissant, ont connu une amélioration significative de leur vitesse de traitement et de temps de réponse. Cette mise à jour fait suite à une réécriture complète du code d’inférence par les développeurs d’xAI, Igor Babuschkin, Lianmin Zheng et Saeed Maleki, en seulement trois jours.

Babuschkin a déclaré sur X : « Grok 2 mini est désormais deux fois plus rapide qu’hier. Au cours des trois derniers jours, @lm_zheng et @MalekiSaeed ont réécrit notre pile d’inférence à partir de zéro en utilisant SGLang. Cette amélioration nous permet de servir le modèle Grok 2 plus volumineux, qui nécessite une inférence multi-hôtes, à une vitesse raisonnable. Les deux modèles sont non seulement plus rapides, mais aussi légèrement plus précis. Restez à l’affût pour d’autres améliorations de vitesse ! »

SGLang, un système open-source performant pour l’exécution de programmes complexes de modèles de langage, a joué un rôle clé dans cette réécriture, atteignant jusqu'à 6,4 fois un débit plus élevé que les systèmes existants. Développé par des chercheurs de l'Université de Stanford, de l'UC Berkeley, de l'Université Texas A&M et de l'Université Jiao Tong de Shanghai, SGLang simplifie la programmation pour les applications de modèles de langage en intégrant un langage frontal avec un runtime arrière. Il prend en charge divers modèles, y compris Llama, Mistral et LLaVA, et fonctionne avec des modèles à poids ouverts et basés sur API comme GPT-4 d'OpenAI.

Points Saillants de Performance de Grok-2 et Grok-2 Mini

Dans la mise à jour la plus récente du tableau de classement du Lmsys Chatbot Arena, Grok-2 a décroché la 2ème place avec un score de 1293, basé sur 6686 votes. Cela en fait le deuxième modèle d'IA le plus puissant au monde, à égalité avec Gemini-1.5 Pro de Google, et juste derrière ChatGPT-4o d'OpenAI.

Le Grok-2 mini, bénéficiant de récentes améliorations, a grimpé à la 5ème place avec un score de 1268 sur 7266 votes, juste derrière GPT-4o mini et Claude 3.5 Sonnet. Les deux modèles reflètent l’engagement d’xAI à faire progresser la technologie de l’IA.

Grok-2 excelle particulièrement dans les tâches mathématiques, occupant la première place, et maintient de solides positions dans diverses catégories telles que les "Hard Prompts", le codage et le suivi d'instructions. Cette performance place Grok-2 en tête des autres modèles, y compris GPT-4o d'OpenAI, qui est actuellement classé 4ème.

Développements Futurs

Babuschkin a noté que l'avantage principal du Grok-2 mini par rapport au modèle complet Grok-2 est sa vitesse supérieure. Il a également mentionné des efforts continus pour améliorer encore la vitesse de traitement du Grok-2 mini, ce qui pourrait en faire un choix plus attrayant pour les utilisateurs recherchant une performance élevée avec des ressources de calcul réduites.

L'ajout de Grok-2 et Grok-2 mini au tableau de classement du Chatbot Arena a attiré une attention considérable dans la communauté de l'IA, démontrant l'engagement d'xAI envers l'innovation et sa volonté d'élargir les capacités de la technologie de l'IA. Avec des améliorations continues, Grok-2 et Grok-2 mini sont bien positionnés pour mener la voie dans les avancées futures de l'IA, promettant une vitesse et une précision accrues.