Alors qu'OpenAI traverse une lutte de pouvoir et des départs massifs, Microsoft poursuit ses ambitions en matière d'IA. Aujourd'hui, l'entreprise a présenté Orca 2, une paire de petits modèles linguistiques qui égalent ou dépassent des modèles beaucoup plus grands — jusqu'à dix fois leur taille, y compris le Llama-2 Chat-70B de Meta — dans des tâches de raisonnement complexe en conditions zéro-shot.
Les modèles Orca 2 sont disponibles en deux tailles : 7 milliards et 13 milliards de paramètres. Ils s'appuient sur le précédent modèle Orca 13B, qui a démontré des capacités de raisonnement impressionnantes en imitant le raisonnement étape par étape des modèles plus grands développés quelques mois plus tôt.
« Avec Orca 2, nous démontrons que des signaux de formation et des méthodes améliorés permettent aux modèles linguistiques plus petits d'atteindre des capacités de raisonnement habituellement réservées à des homologues beaucoup plus grands », ont indiqué les chercheurs de Microsoft dans un article de blog.
Les deux modèles ont été open-sourcés pour favoriser la recherche, permettant d’évaluer des modèles plus petits capables d’offrir des performances similaires à celles de leurs homologues plus grands. Cette initiative offre aux entreprises, en particulier celles aux ressources limitées, une option plus accessible pour répondre à leurs besoins spécifiques sans nécessiter une puissance de calcul considérable.
Apprentissage de Raisonnement pour Petits Modèles
Bien que les grands modèles linguistiques tels que GPT-4 aient constamment impressionné par leur raisonnement et leurs capacités de réponse à des questions complexes, les modèles plus petits ont historiquement été moins performants. Pour combler cette lacune, Microsoft Research a affiné les modèles de base de Llama 2 en utilisant un ensemble de données synthétiques spécialisé.
Au lieu de simplement reproduire le comportement de modèles plus grands — une technique courante appelée apprentissage par imitation — les chercheurs ont avancé une approche différente. Ils ont formé les modèles plus petits à utiliser des stratégies variées de résolution de problèmes adaptées à différentes tâches. Par exemple, alors que GPT-4 peut répondre directement à des requêtes complexes, un modèle plus petit pourrait bénéficier d’une décomposition de la tâche en étapes gérables.
« Dans Orca 2, nous enseignons au modèle plusieurs techniques de raisonnement (étape par étape, rappel puis génération, rappel-raisonnement-génération, réponse directe, etc.) et nous nous concentrons sur son aide pour identifier la stratégie la plus efficace pour chaque tâche », ont écrit les chercheurs dans leur dernier article. Les données d'entraînement provenaient d’un modèle enseignant plus performant, permettant au modèle étudiant d'apprendre à quel moment et comment appliquer différentes approches de raisonnement.
Orca 2 Surpasse des Modèles Plus Grands
Évalués sur 15 références diverses en conditions zéro-shot — notamment la compréhension linguistique, le raisonnement de bon sens, le raisonnement multi-étapes, la résolution de problèmes mathématiques, la compréhension de lecture, la synthèse et l’exactitude — les modèles Orca 2 ont donné des résultats remarquables, égalant ou dépassant souvent les niveaux de performance de modèles cinq à dix fois plus grands.
Les résultats moyens des benchmarks indiquent que les deux modèles Orca 2 ont surpassé Llama-2-Chat-13B, Llama-2-Chat-70B, WizardLM-13B et WizardLM-70B, sauf dans le benchmark GSM8K — un ensemble de données comprenant plus de 8 500 problèmes mathématiques de niveau scolaire — où WizardLM-70B a surpassé Orca.
Considérations pour l'Implémentation en Entreprise
Bien que ces gains de performance soient prometteurs pour les équipes d'entreprise à la recherche de modèles efficaces et performants pour des applications rentables, il est crucial de reconnaître que les modèles Orca 2 peuvent hériter de limitations communes à tous les modèles linguistiques, ainsi que celles de leur modèle de base.
Microsoft a souligné que les techniques appliquées pour créer les modèles Orca pourraient également être adaptées à d'autres modèles existants. « Bien qu'Orca 2 présente plusieurs limitations, son potentiel pour faire progresser le raisonnement, la spécialisation, le contrôle et la sécurité dans des modèles plus petits est évident. L'utilisation stratégique de données synthétiques soigneusement filtrées est clé pour ces améliorations. Alors que les modèles plus grands continuent d'exceller, notre travail avec Orca 2 représente une avancée significative dans la diversification des applications des modèles linguistiques », a conclu l'équipe de recherche.
Avenir des Petits Modèles Linguistiques
Avec la disponibilité des modèles Orca 2 en open-source et la poursuite des recherches dans le domaine, il est évident que d'autres modèles linguistiques de petite taille et performants sont à l'horizon.
Récemment, 01.AI, une start-up chinoise fondée par le vétéran de l'IA Kai-Fu Lee, a lancé un modèle de 34 milliards de paramètres qui excelle à la fois en chinois et en anglais, dépassant même les modèles Llama 2 70 milliards et Falcon 180 milliards. La start-up propose également une version plus petite, entraînée avec 6 milliards de paramètres, qui obtient de bons résultats sur des benchmarks reconnus en IA/ML.
De plus, Mistral AI — une nouvelle start-up basée à Paris qui a attiré l'attention grâce à son logo Word Art unique et à son tour de financement record de 118 millions de dollars — a introduit un modèle de 7 milliards de paramètres qui surpasse des rivaux plus grands, y compris le Llama 2 13B de Meta.
Classement
