SambaNova lance un modèle de composition d'experts à 1 trillion de paramètres pour des solutions d'IA générative en entreprise.

SambaNova Systems a présenté l'un des plus grands modèles de langage (LLM) à ce jour : le Samba-1, doté d'un trillion de paramètres. Contrairement à GPT-4 d'OpenAI, Samba-1 n'est pas un modèle unique. Il intègre plus de 50 modèles d'IA de haute qualité grâce à une méthode appelée architecture de Composition d'Experts, permettant une personnalisation et une optimisation pour des applications spécifiques en entreprise.

En septembre, SambaNova a annoncé sa puce IA SN40L, conçue pour rivaliser avec Nvidia en offrant une solution efficace de formation et d'inférence. Le modèle Samba-1 sera intégré dans la suite SambaNova, permettant aux organisations de personnaliser et déployer efficacement leurs modèles.

Rodrigo Liang, co-fondateur et PDG de SambaNova, a souligné l'importance de fournir des modèles pré-composés, pré-entraînés et pré-optimisés. Cette fonctionnalité permet aux entreprises d'obtenir des déploiements performants sans le réglage fin souvent nécessaire.

Comment Samba-1 utilise la Composition d'Experts pour construire un LLM massif

Samba-1 se compose de plus de 50 modèles d'IA formés individuellement et optimisés pour la cohésion. Cela inclut des modèles propriétaires de SambaNova ainsi que des modèles open-source sélectionnés pour des tâches spécifiques, tels que Llama 2, Mistral, DeepSeek Coder, Falcon, DePlot, CLIP et Llava.

« Nous avons rassemblé les meilleurs modèles, les avons optimisés et combinés en un unique modèle d'un trillion de paramètres », a déclaré Liang. Les modèles au sein de Samba-1 peuvent interagir de manière fluide, permettant aux réponses d'un modèle de servir d'entrées pour d'autres.

L'enchaînement de LLM pour en tirer des résultats n'est pas nouveau ; des technologies open-source populaires comme LangChain le font déjà. Cependant, Liang affirme que l'approche de Composition d'Experts de Samba-1 offre des avantages significatifs. Contrairement à LangChain, qui nécessite une définition préalable des chaînes de modèles, les experts de Samba-1 peuvent être connectés dynamiquement en fonction des invites et des réponses, favorisant ainsi la flexibilité.

De plus, Samba-1 permet aux utilisateurs d'accéder à diverses perspectives en s'appuyant sur des modèles formés sur différents ensembles de données. « Il peut créer dynamiquement 50 équivalents de LangChain pour explorer des résultats variés », a-t-il noté.

Composition d'Experts vs. Mélange d'Experts

Il est essentiel de distinguer la Composition d'Experts de l'approche de Mélange d'Experts utilisée par certains LLM comme Mistral. Liang a expliqué qu'un Mélange d'Experts utilise un modèle unique formé sur plusieurs ensembles de données, ce qui pourrait compromettre la confidentialité des données.

En revanche, la Composition d'Experts garantit la sécurité de chaque modèle en les formant sur des ensembles de données séparés et sécurisés. Cette approche assure que les protocoles de sécurité pendant la formation s'étendent au déploiement et à l'inférence.

Solutions sur mesure avec plus d'un trillion de paramètres

Bien que Samba-1 dispose d'un trillion de paramètres, les organisations n'auront pas toujours besoin d'une telle ampleur pour leur déploiement. En exploitant plusieurs modèles spécialisés, Samba-1 offre des capacités étendues de manière plus efficace.

« Chaque invite ne nécessite pas d'activer l'intégralité du trillion de paramètres en une seule fois », a expliqué Liang. Cela améliore l'efficacité, réduit la consommation d'énergie et de bande passante, et allège l'empreinte opérationnelle, car seul l'expert nécessaire est sollicité.

SambaNova permet aux clients de former des modèles sur leurs données propriétaires, permettant ainsi aux entreprises de développer des actifs uniques et optimisés. « Avec Samba-1, vous pouvez avoir votre propre modèle privé d'un trillion de paramètres, et une fois qu'il est entraîné sur vos données, il vous appartient indéfiniment », a déclaré Liang.