L'IA Orca-Math de Microsoft offre des performances supérieures de 10 fois par rapport aux modèles plus volumineux.

Nouvelles Passionnantes pour les Étudiants et les Chercheurs en STEM !

Si vous avez déjà eu des difficultés avec les mathématiques, comme moi durant ma jeunesse, ou si vous êtes simplement désireux d'améliorer vos compétences, Microsoft a d'excellentes nouvelles pour vous.

Arindam Mitra, chercheur senior chez Microsoft Research et leader de l'initiative Orca AI, a récemment annoncé Orca-Math sur X. Ce modèle innovant, dérivé de Mistral 7B de la startup française Mistral, est spécialement conçu pour exceller dans la résolution de problèmes mathématiques. Sa taille compacte permet une efficacité optimale pour l'entraînement et le déploiement. Cette avancée s'inscrit dans l'objectif plus large de l'équipe Orca de Microsoft, qui vise à améliorer les capacités des modèles de langage à grande échelle (LLMs) à plus petite échelle.

Orca-Math : Performance et Efficacité

Orca-Math a réalisé des résultats impressionnants, surpassant des modèles comptant dix fois plus de paramètres dans la résolution de problèmes mathématiques complexes. Mitra a partagé un graphique démontrant la supériorité d'Orca-Math par rapport aux autres modèles d'IA de 7 à 70 milliards de paramètres dans le benchmark GSM8K, qui regroupe 8,500 problèmes mathématiques divers conçus pour être résolus par de brillants collégiens.

Fait remarquable, Orca-Math, avec ses 7 milliards de paramètres, rivalise presque avec des modèles plus grands tels que GPT-4 d'OpenAI et Gemini Ultra de Google, tout en dépassant largement d'autres modèles tels que MetaMath (70B) et Llemma (34B).

Création d'Orca-Math : Une Approche Collaborative

Comment l’équipe Orca a-t-elle accompli cet exploit ? Ils ont mis au point un nouveau jeu de données de 200,000 problèmes mathématiques par une collaboration d'agents AI spécialisés, incluant des IA d'étudiants et de enseignants, qui ont corrigé les réponses générées. Ce jeu de données a été créé à partir de 36,217 problèmes mathématiques provenant de jeux de données ouverts, dont les réponses ont été fournies par GPT-4 d'OpenAI. Ce processus a abouti au développement d'Orca-Math avec le modèle Mistral 7B.

De plus, l'équipe Orca a mis en place un système d'agents "Suggester and Editor" pour produire des questions plus complexes, améliorant ainsi l’ensemble de données d'apprentissage de l’IA. Selon leurs recherches publiées sur arXiv.org, le processus d'amélioration itérative des problèmes contribue de manière significative à développer des questions stimulantes qui favorisent une plus grande précision pendant l'apprentissage.

Les données synthétiques générées par machine se sont révélées utiles pour augmenter les capacités des LLMs, répondant aux préoccupations liées à la stagnation des modèles. L'équipe Orca a utilisé la méthode d'Optimisation Kahneman-Tversky (KTO), qui se concentre sur l'évaluation de l'attrait des résultats plutôt que sur des critères de préférence complexes. Cette méthode, associée à un ajustement supervisé traditionnel, a encore affiné les performances d'Orca-Math.

Ressource Open-Source : 200,000 Problèmes Mathématiques pour l'Innovation

L'équipe Orca a généreusement mis à disposition leur jeu de données généré par IA de 200,000 problèmes mathématiques sur Hugging Face sous une licence MIT permissive. Cela ouvre la voie aux startups et aux entreprises pour explorer, innover et même utiliser ce jeu de données à des fins commerciales.

Depuis le lancement de l'Orca 13B en juin 2023 — qui utilisait GPT-4 comme modèle d'enseignement — suivi de l'Orca 2 en novembre 2023, la famille Orca continue de s'étendre et d'évoluer, offrant constamment des itérations plus intelligentes et plus compactes.

Avec ces avancées, Microsoft est prêt à transformer le paysage de l'éducation mathématique et des outils d'apprentissage pilotés par l'IA.