Aujourd'hui, Snowflake a dévoilé Arctic, un modèle de langage de grande taille (LLM) conçu pour des tâches complexes en entreprise, telles que la génération de SQL, la création de code et le respect des instructions. Présenté comme le "LLM d'entreprise le plus ouvert", Arctic utilise une architecture basée sur des experts (MoE), atteignant efficacement des performances optimales pour les charges de travail d'entreprise. Il rivalise avec des modèles standards de Databricks, Meta et Mistral dans des domaines tels que les connaissances générales, le bon sens, le raisonnement et les capacités mathématiques.
"C'est un moment décisif pour Snowflake, avec notre équipe de recherche en IA à la pointe de l'innovation", a déclaré le PDG Sridhar Ramaswamy. "En offrant une intelligence et une efficacité de premier ordre de manière ouverte, nous élargissons le potentiel de l'IA open source. Notre recherche avec Arctic améliorera considérablement notre capacité à fournir une IA fiable et efficace à nos clients."
Ce lancement marque une étape stratégique pour Snowflake dans la compétition avec Databricks, qui a intensifié ses initiatives en matière d'IA. L'accent mis par Snowflake sur l'IA s'est récemment renforcé après l'acquisition de Neeva et la nomination de Ramaswamy en tant que PDG.
Arctic : Conçu pour les Charges de Travail d'Entreprise
Alors que les entreprises modernes adoptent l'IA générative, la demande pour des applications telles que les chatbots à génération augmentée par récupération (RAG), les copilotes de données et les assistants de code augmente. Bien que de nombreux modèles existent, peu ciblent spécifiquement les besoins des entreprises — c'est là qu'Arctic excelle.
"Nous croyons que l'IA améliorera le développement de produits IA de bout en bout. Notre vision est de créer une API qui permet aux utilisateurs professionnels d'interagir directement avec les données, les rendant accessibles à l'ensemble de l'entreprise. Arctic est une étape essentielle pour réaliser cette vision", a expliqué Ramaswamy lors d'un briefing récent.
Arctic utilise une architecture hybride Dense MoE, segmentant les paramètres en 128 sous-groupes d'experts spécialisés. Ces experts ne traitent que les jetons d'entrée qu'ils sont le mieux à même de gérer, n'activant que 17 milliards des 480 milliards de paramètres lors du traitement d'une requête. Cette approche ciblée garantit des performances élevées avec une puissance de calcul minimale.
Les benchmarks indiquent qu'Arctic s'acquitte efficacement des tâches d'entreprise, atteignant un score moyen de 65% dans divers tests. Cette performance est proche du score moyen de 70% de Llama 3 70B et ne se situe qu'à un point du Mixtral 8X22B à 70%. Dans le benchmark Spider pour la génération SQL, Arctic a obtenu 79%, dépassant Databricks' DBRX et Mixtral 8X7B, tout en se rapprochant de Llama 3 70B et Mixtral 8X22B. Pour les tâches de codage, Arctic a atteint 64,3%, surpassant Databricks et le modèle plus petit de Mixtral, tout en restant derrière Llama 3 70B et Mixtral 8X22B. Notablement, dans le benchmark IFEval pour les capacités de suivi des instructions, Arctic a obtenu 52,4%, surpassant la plupart des concurrents sauf le dernier modèle de Mixtral.
Efficacité et Rentabilité
Snowflake affirme qu'Arctic a atteint un niveau d'intelligence d'entreprise avec une efficacité révolutionnaire, utilisant un budget d'entraînement de moins de 2 millions de dollars — nettement inférieur à d'autres modèles comme Llama 3 70B, qui ont utilisé 17 fois plus de ressources informatiques. De plus, l'utilisation de seulement 17 paramètres actifs renforce encore sa rentabilité.
Disponibilité sous Licence Apache 2.0
Snowflake rend Arctic accessible via Cortex, son service de développement d'applications LLM, et à travers divers catalogues de modèles, y compris Hugging Face, Lamini, Microsoft Azure, Nvidia API, Perplexity et Together. Les utilisateurs peuvent télécharger les poids et le code du modèle Arctic sur Hugging Face sous une licence Apache 2.0, facilitant une utilisation personnelle, commerciale ou de recherche sans restrictions.
En conjonction avec la sortie du modèle, Snowflake propose une recette de données pour un affinement efficace sur un seul GPU, ainsi que des livres de cuisine de recherche détaillant la conception et les processus de formation du modèle.
"Le livre de cuisine est conçu pour accélérer la courbe d'apprentissage pour quiconque s'intéresse aux modèles MoE de classe mondiale, offrant à la fois des aperçus de haut niveau et des spécifications techniques détaillées pour permettre aux utilisateurs de créer des LLM efficaces et rentables comme Arctic", a déclaré Baris Gultekin, responsable de l'IA chez Snowflake, lors du briefing presse.
Classement
