Mistral lance le Mixtral 8x22B : une domination sur le paysage de l'IA open source en France.

Une nouvelle compétition émerge dans le domaine de l'intelligence artificielle. Récemment, l'entreprise française Mistral AI a lancé son modèle mixte expert révolutionnaire, Mixtral 8x22B, qui compte un impressionnant 176 milliards de paramètres, en faisant le deuxième plus grand modèle open-source sur le marché, juste derrière Grok-1.

Mixtral 8x22B a suscité un vif intérêt grâce à sa structure innovante, composée de huit modèles experts, chacun contenant 22 milliards de paramètres. La taille totale du fichier du modèle est d'environ 262 Go. En termes de performances, Mixtral 8x22B excelle dans diverses évaluations, notamment le test MMLU (Massive Multitask Language Understanding), où il se classe comme le meilleur modèle open-source. Il a également surpassé des concurrents tels que Llama 2 70B, GPT-3.5 et Claude 3 Sonnet dans des tests comme Hellaswag, TruthfulQA et GSM8K.

Bien que le lancement de Mixtral 8x22B ait été relativement discret, il a généré un enthousiasme significatif au sein de la communauté open-source. Peu après son lancement, le modèle a été rapidement mis à disposition sur Hugging Face, permettant aux utilisateurs de le former et de le déployer davantage. La plateforme de recherche AI Perplexity Labs et la plateforme open-source Together AI ont rapidement suivi, offrant un soutien essentiel.

Concernant l'optimisation des performances, le scientifique en intelligence artificielle Jia Yangqing a noté qu'avec une quantification efficace, Mixtral 8x22B peut fonctionner sur quatre GPU A100/H100, nécessitant souvent seulement trois GPU A100. De plus, le chercheur en apprentissage automatique chez Apple, Awni Hannun, a souligné la compatibilité du modèle avec la puce M2 Ultra dans le cadre MLX d'Apple, partageant des modèles quantifiés avec la communauté MLX.

Les avancées de Mistral AI illustrent la présence impressionnante de la France dans le secteur de l'IA, propulsant davantage le développement technologique mondial en intelligence artificielle. La communauté open-source en pleine expansion signifie que le lancement de Mixtral 8x22B offre de nouvelles opportunités et défis pour les développeurs et chercheurs.

Ces dernières années, la France a réalisé d'importants progrès dans l'IA, évoluant des instituts de formation vers des centres de recherche en deep learning et des incubateurs technologiques, s'établissant comme un acteur majeur dans le paysage mondial de l'IA. L'ouverture d'un laboratoire par Google DeepMind à Paris souligne l'attractivité du pays dans le domaine de l'IA. Le succès de Mistral AI insuffle un nouvel élan à l'écosystème IA français.

À l'avenir, nous anticipons l'émergence de plus d'entreprises comme Mistral AI, propulsant les avancées de la technologie IA mondiale et contribuant à l'amélioration de la société par l'innovation et la collaboration.