Groq, une startup innovante dans le domaine du matériel AI, a lancé deux modèles linguistiques open-source qui surpassent ceux des grands acteurs technologiques par leurs capacités d'utilisation d'outils spécialisés. Le modèle Llama-3-Groq-70B-Tool-Use occupe la première place du Berkeley Function Calling Leaderboard (BFCL), devançant des modèles propriétaires de OpenAI, Google et Anthropic.
Rick Lamers, responsable de projet chez Groq, a partagé cette réussite sur X.com : "Je suis fier d'annoncer les modèles Llama 3 Groq Tool Use 8B et 70B. Ce fine-tuning complet open-source de Llama 3 atteint la première position sur le BFCL, surpassant tous les autres modèles, y compris des modèles propriétaires comme Claude Sonnet 3.5, GPT-4 Turbo, GPT-4o et Gemini 1.5 Pro."
Le modèle de 70 milliards de paramètres a atteint une précision globale impressionnante de 90,76 % sur le BFCL, tandis que le modèle de 8 milliards de paramètres a obtenu un score de 89,06 %, se classant troisième. Ces résultats indiquent que les modèles open-source peuvent non seulement rivaliser avec, mais également dépasser la performance des alternatives fermées pour des tâches spécifiques.
Développés en collaboration avec l'entreprise de recherche en AI Glaive, les modèles de Groq ont utilisé un fine-tuning complet et l'Optimisation Directe de Préférences (DPO) sur le modèle de base Llama-3 de Meta. L'équipe a veillé à n'utiliser que des données synthétiques générées de manière éthique pour l'entraînement, répondant ainsi aux préoccupations concernant la confidentialité des données et le surajustement.
Ce développement marque un changement décisif dans le paysage de l'AI. En atteignant une performance optimale en utilisant uniquement des données synthétiques, Groq remet en question la croyance selon laquelle de vastes quantités de données réelles sont essentielles au développement de modèles AI avancés. Cette approche innovante pourrait atténuer les préoccupations en matière de confidentialité et réduire l'impact environnemental souvent associé à la formation sur de grandes quantités de données. De plus, elle ouvre des perspectives pour créer des modèles AI spécialisés dans des domaines où les données réelles sont limitées ou sensibles.
Groq a rendu ces modèles accessibles via l'API Groq et Hugging Face, une plateforme de premier plan pour les modèles d'apprentissage automatique. Cette accessibilité promet de stimuler l'innovation dans des domaines nécessitant une utilisation complexe d'outils et des appels de fonction, tels que le codage automatisé et l'analyse de données.
Pour engager davantage la communauté, Groq a lancé une démonstration publique sur Hugging Face Spaces, permettant aux utilisateurs d'interagir avec le modèle et d'évaluer ses capacités d'utilisation d'outils. Développée en collaboration avec Gradio, acquis par Hugging Face en décembre 2021, la démonstration a suscité un intérêt positif de la part des chercheurs et des développeurs désireux d'explorer le potentiel des modèles.
La stratégie open-source de Groq contraste fortement avec les systèmes fermés utilisés par les grandes entreprises technologiques, incitant potentiellement les leaders de l'industrie à adopter une plus grande transparence et à accélérer le développement de l'AI. La sortie de ces modèles open-source performants solidifie la position de Groq en tant qu'acteur majeur dans le domaine de l'AI. Alors que chercheurs, entreprises et décideurs examinent les implications de cette technologie, le potentiel d'une plus grande accessibilité et d'une innovation accrue dans l'AI reste évident. Le succès de Groq pourrait annoncer une nouvelle ère dans le développement et le déploiement de l'AI, démocratisant les capacités avancées et favorisant un écosystème plus diversifié et innovant.