Stability AI lance le modèle 'Smol' : présentation de StableLM Zephyr 3B.

Stability AI est surtout reconnue pour sa suite innovante de modèles génératifs d'IA texte-image, mais l'entreprise élargit désormais son offre. Aujourd'hui, Stability AI a dévoilé sa dernière avancée : le StableLM Zephyr 3B. Ce modèle est un grand modèle de langage (LLM) de 3 milliards de paramètres, conçu pour diverses applications de chat, y compris la génération de texte, la summarisation et la personnalisation de contenu. StableLM Zephyr 3B est une version optimisée et plus petite du modèle de génération de texte StableLM initial lancé plus tôt cette année.

L’un des principaux avantages de StableLM Zephyr 3B est sa taille, qui permet un déploiement sur un plus large éventail de matériel avec une empreinte de ressource réduite, tout en garantissant des réponses rapides. Le modèle a été spécifiquement optimisé pour les tâches de questions-réponses et d'instruction. « StableLM a été entraîné plus longtemps sur des données de meilleure qualité que les modèles précédents, utilisant deux fois plus de tokens que LLaMA v2 7b, tout en égalant les performances de base de ce modèle avec seulement 40 % de sa taille », a déclaré Emad Mostaque, PDG de Stability AI.

Présentation du StableLM Zephyr 3B

StableLM Zephyr 3B n'est pas un modèle entièrement nouveau, mais une extension du modèle existant StableLM 3B-4e1t. Son design s'appuie sur le modèle Zephyr 7B de HuggingFace, qui fonctionne sous une licence MIT open-source et est destiné à être utilisé comme assistant. Zephyr utilise une méthode d'entraînement appelée Optimisation Directe des Préférences (DPO), également employée dans StableLM. Mostaque a expliqué que le DPO constitue une alternative aux techniques d'apprentissage par renforcement utilisées dans les modèles antérieurs, les affinant pour mieux s'aligner sur les préférences humaines. Bien que le DPO ait généralement été appliqué à des modèles plus grands, StableLM Zephyr marque l'une des premières utilisations efficaces de cette approche dans un modèle de 3 milliards de paramètres.

Stability AI a tiré parti du DPO en combinant avec le jeu de données UltraFeedback du groupe de recherche OpenBMB, qui comprend plus de 64 000 requêtes et 256 000 réponses. Cette combinaison de DPO, de la taille du modèle et du jeu de données d'entraînement optimisé aboutit à des performances impressionnantes. Par exemple, dans l'évaluation MT Bench, StableLM Zephyr 3B a surpassé des modèles plus grands, y compris Llama-2-70b-chat de Meta et Claude-V1 d'Anthropic.

Un portefeuille de modèles en expansion

StableLM Zephyr 3B contribue à une série de modèles croissante lancée par Stability AI, alors que la startup en IA générative vise à améliorer en continu ses capacités. En août, l'entreprise a lancé StableCode pour le développement d'applications, suivi de Stable Audio en septembre pour la génération de texte en audio. En novembre, elle a présenté Stable Video Diffusion, marquant l'entrée de Stability AI dans la génération vidéo.

Malgré cette expansion, Stability AI reste fidèle à ses racines dans la génération texte-image. Récemment, l'entreprise a introduit SDXL Turbo, une version plus rapide de son modèle phare de diffusion stable texte-image SDXL. Mostaque souligne qu'il reste encore beaucoup d'innovation à venir de Stability AI. « Nous croyons que des modèles petits, ouverts et performants, adaptés aux données spécifiques des utilisateurs, surpasseront les grands modèles généraux », a-t-il expliqué. « Avec le lancement prochain complet de nos nouveaux modèles StableLM, nous sommes impatients de démocratiser davantage les modèles de langage génératifs. »