L'Allen Institute for AI (AI2), une organisation à but non lucratif fondée en 2014 par le regretté cofondateur de Microsoft, Paul Allen, a présenté OLMo—un modèle de langage (LLM) open-source qualifié de « véritablement open-source » et d’alternative « à la pointe de la technologie » aux modèles fermés et restrictifs. Cette initiative constitue un tournant majeur dans le développement de l'IA.
Contrairement à d'autres modèles qui ne partagent que le code et les poids, OLMo propose des ressources complètes, incluant le code de formation, les données d'entraînement, et des kits d'outils associés, ainsi que des outils d'évaluation. Publiés sous une licence approuvée par l'Open Source Initiative, tous les composants d'OLMo, y compris le code, les poids et les points de contrôle intermédiaires, sont disponibles sous la Licence Apache 2.0.
Cette annonce intervient à un moment crucial où l'IA open-source progresse rapidement et cherche à rivaliser avec des modèles propriétaires tels que GPT-4 d'OpenAI et Claude d'Anthropic. Par exemple, le PDG de la startup parisienne Mistral a récemment confirmé l'émergence d'un nouveau modèle d'IA open-source atteignant des performances proches de GPT-4. De plus, Meta a récemment lancé une version améliorée de son modèle de génération de code, Code Llama 70B, tandis que l'attente grandit pour la prochaine itération du Llama LLM.
Cependant, le secteur de l'IA open-source fait face à des critiques de la part de certains chercheurs, régulateurs et décideurs. Un article d'opinion controversé dans IEEE Spectrum a même déclaré que « l’IA open-source est particulièrement dangereuse. »
Le cadre OLMo promeut une approche « complètement ouverte », offrant un accès total aux données de préentraînement, au code de formation, aux poids du modèle et aux processus d'évaluation. Cela inclut du code d'inférence, des métriques d'entraînement, des journaux de formation et une suite d'évaluation du développement comportant plus de 500 points de contrôle pour chaque modèle, suivis tout au long du processus de formation sous le projet Catwalk.
Les chercheurs d'AI2 prévoient d'améliorer continuellement OLMo en introduisant divers formats de modèles, modalités, ensembles de données et capacités. « De nombreux modèles de langage d’aujourd'hui manquent de transparence », a déclaré Hanna Hajishirzi, responsable du projet et directrice senior de la recherche en NLP chez AI2. « Les chercheurs ne peuvent pas pleinement comprendre le fonctionnement d'un modèle sans accès aux données de formation. Notre cadre permet aux chercheurs d'étudier scientifiquement les LLM, ce qui est essentiel pour développer une IA sûre et fiable. »
Nathan Lambert, scientifique en apprentissage machine chez AI2, a souligné qu'OLMo représente un nouveau paradigme dans les LLM. « OLMo permet de nouvelles approches pour la recherche et le déploiement de l’apprentissage machine, facilitant le développement scientifique à chaque étape du processus », a-t-il précisé.
La communauté de l'IA open-source a réagi avec enthousiasme à la sortie d'OLMo. Jonathan Frankle, scientifique en chef chez MosaicML et Databricks, l'a salué comme « un bond de géant pour la science ouverte. » Le CTO de Hugging Face a également commenté sur les réseaux sociaux que ce modèle « repousse les limites de l'IA open-source. »
Yann LeCun, scientifique en chef chez Meta, a souligné dans le communiqué de presse d'AI2 que « les modèles de fondation open-source stimulent l'innovation dans l'IA générative, et une communauté open-source dynamique est essentielle pour façonner l'avenir de l'IA. »
Classement
