Nvidia, Hugging Face et ServiceNow lancent de nouveaux modèles de langage StarCoder2 pour améliorer les capacités de génération de code.

Nvidia, Hugging Face et ServiceNow ont lancé StarCoder2, une suite avancée de modèles de langage à grande échelle (LLMs) en accès libre, conçue pour améliorer la génération de code par l'IA. Actuellement disponibles en trois tailles, ces modèles ont été formés sur plus de 600 langages de programmation, y compris des langages moins connus, permettant aux entreprises d’optimiser diverses tâches de codage dans leurs flux de développement. Développés dans le cadre de l'Open BigCode Project—une initiative collaborative de ServiceNow et Hugging Face—les modèles promeuvent l'utilisation responsable des LLMs pour le code et sont fournis sans royalties sous des licences Open Responsible AI (OpenRAIL).

« StarCoder2 illustre la puissance de la collaboration scientifique ouverte couplée à des pratiques d'IA responsables », a déclaré Harm de Vries, responsable de l'équipe de développement de StarCoder2 chez ServiceNow. « Ce modèle de pointe améliore la productivité des développeurs et démocratise l'accès à l'IA de génération de code, permettant aux organisations de toutes tailles de réaliser pleinement leur potentiel commercial. »

StarCoder2 : Trois Modèles pour des Besoins Variés

Le modèle original StarCoder comportait un seul modèle de 15 milliards de paramètres, formé sur 80 langages de programmation. En revanche, StarCoder2 propose trois tailles distinctes—3B, 7B et 15B—formées sur 619 langages de programmation, avec un ensemble de données d'entraînement, connu sous le nom de The Stack, plus de sept fois plus volumineux que son prédécesseur. De nouvelles techniques d'entraînement ont été introduites pour améliorer la capacité des modèles à comprendre et générer du code dans des langages peu ressources tels que COBOL, ainsi que des expressions mathématiques et des discussions sur le code source.

Le modèle 3B utilise le cadre Fast LLM de ServiceNow, tandis que le modèle 7B adopte le cadre nanotron de Hugging Face. Les deux sont conçus pour une génération de texte en code et de texte en flux de travail à hautes performances tout en réduisant la demande informatique. Par ailleurs, le modèle 15B est optimisé grâce au cadre cloud-native Nvidia NeMo et au logiciel Nvidia TensorRT-LLM.

Innovation Collaborative : ServiceNow, Hugging Face et Nvidia

Bien que les performances de ces modèles dans divers scénarios de codage restent à évaluer, des tests préliminaires suggèrent que le modèle 3B se comporte de manière comparable au modèle 15B StarCoder original. Les équipes d'entreprise peuvent personnaliser l'un de ces modèles en utilisant leurs données pour des applications spécifiques, y compris la génération de code source, l'automatisation des flux de travail, la complétion de code, la résumation avancée et la récupération de snippets.

L’entraînement approfondi des modèles améliore leur capacité à fournir des prédictions précises et contextuelles, accélérant ainsi les processus de développement et permettant aux ingénieurs de se concentrer sur des défis plus critiques. « Chaque écosystème logiciel dispose d'un langage de programmation unique, et les LLMs de code peuvent favoriser des avancées significatives en matière d'efficacité et d'innovation dans tous les secteurs », a noté Jonathan Cohen, vice-président de la recherche appliquée chez Nvidia. « Notre partenariat avec ServiceNow et Hugging Face propose des modèles sécurisés, développés de manière responsable, qui élargissent l'accès à une IA générative accountable pour la communauté mondiale. »

Commencer avec StarCoder2

Tous les modèles de la famille StarCoder2 sont disponibles sous la licence Open RAIL-M, offrant un accès sans royalties. Le code de support est disponible dans le dépôt GitHub du projet BigCode, et les modèles peuvent également être téléchargés depuis Hugging Face. De plus, le modèle 15B est accessible via Nvidia AI Foundation, permettant aux développeurs d'expérimenter directement depuis leurs navigateurs ou via une API.

Bien que StarCoder représente une avancée significative dans la génération de code par IA, il n'est pas seul sur le marché. Des concurrents comme OpenAI avec Codex (qui alimente GitHub Copilot), Amazon CodeWhisper et d'autres comme Replit et Codenium explorent également les capacités des LLMs dans le développement d'applications.