Apple dévoile un LLM multimodal en open-source : points forts de la sortie d'octobre

En octobre 2023, des chercheurs d'Apple et de l'Université de Columbia ont discrètement lancé un modèle de langage multimodal open-source (LLM) nommé Ferret. Cette publication comprenait à la fois le code et les poids du modèle, mais était réservée à des fins de recherche et non à un usage commercial. Initialement ignorée, la situation a évolué à la suite de récents développements dans les modèles open-source, comme les innovations de Mistral et le modèle Gemini de Google, qui a fait ses débuts sur le Pixel Pro, suscitant des discussions sur le potentiel des LLM locaux sur des dispositifs compacts.

La conversation s'est intensifiée après l'annonce par Apple d'une avancée majeure dans le déploiement des LLM sur iPhone. La société a publié deux nouveaux articles de recherche présentant des techniques pour créer des avatars 3D et améliorer l'efficacité de l'inférence AI. Ces avancées promettent d'offrir des expériences visuelles plus immersives et ouvrent la voie à des systèmes AI complexes fonctionnant sur des appareils grand public tels que l'iPhone et l'iPad.

De nombreux acteurs de la communauté AI reconnaissent désormais l'importance de l'engagement d'Apple dans l'espace LLM open-source. Bart de Witte, à la tête d'une ONG européenne dédiée à l'AI open-source en médecine, a commenté sur X : « J’ai quelque peu raté cela. Apple a rejoint la communauté AI open-source en octobre. La sortie de Ferret démontre l'engagement d'Apple envers une recherche AI significative, consolidant sa position de leader en AI multimodal… J'attends avec impatience le jour où des LLM locaux (LLLM) fonctionneront sur mon iPhone dans le cadre d'un iOS repensé. »

Tristan Behrens, un artiste musical AI allemand et conseiller, a également souligné ce développement sur LinkedIn, en écrivant : « Eh bien, Noël est demain. Mais avez-vous réalisé qu'Apple (oui, Apple !) a récemment publié un LLM multimodal, y compris code et poids ? »

Le blogueur technologique Ben Dickson a ajouté : « Quelle est la development AI en 2023 que vous attendiez le moins ? Pour moi, c'était qu'Apple publie des LLM open-source (bien que sous une licence non commerciale). » Il a souligné la position historique d'Apple sur les systèmes fermés, en mettant en avant le mouvement stratégique de l'entreprise vers le marché des LLM, s'alignant sur la tendance open-source.

Cette initiative s'inscrit dans le paysage actuel, où des entreprises comme Anthropic et OpenAI cherchent apparemment à obtenir des financements significatifs pour renforcer leurs efforts en matière de LLM propriétaires. Selon Reuters, Anthropic discute d'une levée de fonds de 750 millions de dollars avec Menlo Ventures, tandis que Bloomberg a indiqué qu'OpenAI explore un nouveau tour de financement avec une valorisation potentiellement supérieure à 100 milliards de dollars.