Apple Lance un Modèle d'IA Open Source pour Exécution sur Appareil

Apple a aujourd'hui lancé une série de modèles de langage à grande échelle open-source (LLMs) conçus pour fonctionner directement sur les appareils, sans dépendre des serveurs cloud. Nommés OpenELM (Open Efficient Language Models), ces modèles sont désormais disponibles sur Hugging Face Hub, créant ainsi une plateforme communautaire pour partager du code d'IA.

OpenELM comprend huit modèles, dont quatre pré-entraînés avec la bibliothèque CoreNet et quatre ajustés grâce à des modifications guidées. Apple a mis en place une stratégie de mise à l'échelle hiérarchique qui répartit efficacement les paramètres à travers chaque couche du modèle Transformer, améliorant à la fois la précision et l'efficacité. Par exemple, avec un budget paramétrique d'environ un milliard, OpenELM atteint une amélioration de 2,36 % de précision par rapport à OLMo, tout en réduisant de moitié la demande de jetons de pré-formation.

Contrairement aux précédentes versions qui ne proposaient que des poids de modèles et du code d'inférence, ce lancement inclut un cadre complet pour l'entraînement et l'évaluation des modèles de langage sur des ensembles de données publics. Cela comprend des journaux d'entraînement, plusieurs points de contrôle et des configurations de pré-formation. Apple espère que cette initiative accélérera les avancées dans le domaine de l'IA en langage naturel et fournira des résultats « plus fiables ».

La publication de ces modèles open-source vise à « responsabiliser et enrichir la communauté de recherche ouverte », permettant aux chercheurs d'explorer en profondeur les risques, l'utilisation des données et les biais des modèles. Les développeurs et les entreprises sont également encouragés à utiliser ou modifier ces modèles selon leurs besoins spécifiques.

En partageant ouvertement ces informations, Apple s'engage à attirer des ingénieurs, des scientifiques et des experts de premier plan pour faire progresser la recherche dans des domaines pertinents, malgré les défis liés à la publication sous les politiques de confidentialité de la marque. Bien que les fonctionnalités d'IA ne soient pas encore intégrées dans les appareils d'Apple, iOS 18 devrait introduire une multitude de nouvelles capacités d'IA, avec des indications selon lesquelles Apple prévoit de faire passer ses grands modèles de langage en opération sur appareil pour une meilleure confidentialité.