Stability AI dévoile 12 milliards de paramètres dans une mise à jour passionnante du modèle Stable LM 2.

Stability AI poursuit son rythme rapide d'innovation avec le lancement de Stable LM 2, un modèle de 12 milliards de paramètres présenté aujourd'hui.

Si Stability AI est largement reconnue pour sa technologie de génération d'images à partir de texte, Stable Diffusion, l'entreprise propose également une gamme plus large de modèles d'IA générative, allant au-delà de la simple génération d'images. Stable LM a fait ses débuts en avril 2023 en tant que modèle de langage de grande taille (LLM) pour le contenu textuel, et a reçu sa première mise à jour avec le modèle Stable LM 2 de 1,6 milliard de paramètres en janvier. Le nouveau Stable LM 2 12B améliore considérablement les capacités de Stable LM, affichant davantage de paramètres et des performances qui, selon l'entreprise, surpassent des modèles plus grands comme Llama 2 70B sur des critères spécifiques.

Le Stable LM 2 12B comprend une version de base et une variante optimisée pour les instructions, conçue pour perfectionner les compétences conversationnelles en sept langues : anglais, espagnol, allemand, italien, français, portugais et néerlandais. Ces modèles sont disponibles à des fins commerciales via un abonnement à Stability AI, le modèle économique de l'entreprise.

« Le modèle d'instruction est spécifiquement conçu pour engager les utilisateurs dans une interaction conversationnelle », a déclaré Carlos Riquelme, responsable de l'équipe linguistique de Stability AI. « De plus, nous avons investi des efforts considérables pour améliorer la sécurité. »

Cette mise à jour fait suite à la récente démission du co-fondateur et PDG Emad Mostaque au milieu de controverses managériales, mais elle démontre l'élan irréductible de l'entreprise sous la direction des co-PDG intérimaires Shan Shan Wong et Christian Laforte.

Stability AI vise à allier performance et accessibilité à travers Stable LM 2, affirmant que le modèle 12B trouve un équilibre idéal entre puissance, précision et convivialité. Avec ses 12 milliards de paramètres, il peut s’attaquer à des tâches généralement réservées à des modèles beaucoup plus grands. Les résultats des benchmarks montrent que le Stable LM 2 12B se défend remarquablement bien face à des homologues beaucoup plus volumineux.

Il est important de noter que la méthodologie employée pour développer le modèle plus petit de 1,6B a également été utilisée pour créer la nouvelle version 12B.

« Nous envisageons un avenir où les modèles ne fonctionnent pas de manière isolée, mais font partie de systèmes complexes, permettant des interactions entre plusieurs modèles de langue ainsi que des outils logiciels externes », a expliqué Riquelme. « Le modèle 12B a été formé pour jouer un rôle de ‘maître’, se connectant et utilisant diverses fonctions et API en fonction des besoins des utilisateurs. »

Stability AI améliore également le modèle précédent de 1,6B. Riquelme a souligné que, bien que le modèle plus petit puisse gérer des tâches spécifiques de manière efficace, le plus grand 12B offre une capacité supérieure. Néanmoins, le Stable LM 2 1,6B mis à jour a amélioré ses compétences conversationnelles, renforcé les mesures de sécurité et accroît sa compatibilité avec d'autres outils logiciels.

« Il conserve sa taille précédente, garantissant une rapidité et une légèreté », a noté Riquelme. « En revanche, le modèle 12B est plus puissant et fiable, mais nécessite davantage de ressources informatiques. »

Il a souligné qu'en fonction des cas d'utilisation et de la disponibilité des ressources, comme le temps de réponse, la mémoire et le budget, chaque modèle présente des compromis uniques.

« Nous croyons qu'il n'existe pas de taille optimale de modèle pour chaque scénario, c'est pourquoi nous proposons deux modèles distincts », a-t-il déclaré.