Le spin-off du MIT, Liquid, lance des modèles d'IA non-transformateurs à la pointe de la technologie.

Liquid AI, une startup cofondée par d'anciens chercheurs du MIT issus du Laboratoire d'Informatique et d'Intelligence Artificielle (CSAIL), a lancé ses premiers modèles d'IA multimodaux : les Liquid Foundation Models (LFMs). Contrairement à de nombreux modèles d'IA générative actuels basés sur l'architecture des transformateurs, notamment le célèbre cadre de 2017 « Attention Is All You Need », Liquid AI cherche à explorer des alternatives aux Generative Pre-trained Transformers (GPT).

Les LFMs sont construits sur des « principes fondamentaux », à l'image de l'approche des ingénieurs pour la conception de moteurs et d'avions. Ces LFMs innovants montrent des performances supérieures par rapport à des modèles similaires basés sur des transformateurs, tels que Llama 3.1-8B de Meta et Phi-3.5 3.8B de Microsoft. Disponibles en trois tailles—LFM 1.3B (petit), LFM 3B et le grand LFM 40B MoE (un modèle Mixture-of-Experts)—les modèles ont un nombre variable de paramètres, indiqués par le « B » pour milliard. Un nombre de paramètres plus élevé indique généralement une plus grande capacité à accomplir une variété de tâches.

La version LFM 1.3B a déjà surpassé Llama 3.2-1.2B de Meta et Phi-1.5 de Microsoft dans divers benchmarks tiers, notamment le test Massive Multitask Language Understanding (MMLU), marquant une réalisation significative pour une architecture non-GPT. Tous les trois modèles allient haute performance et efficacité mémoire ; par exemple, le LFM-3B de Liquid nécessite seulement 16 Go de mémoire, tandis que Llama-3.2-3B de Meta en exige plus de 48 Go.

Maxime Labonne, Responsable du Post-Training chez Liquid AI, a exprimé sa fierté concernant les LFMs via son compte sur les réseaux sociaux, soulignant leur efficacité et leur capacité à surpasser les modèles de transformateurs tout en utilisant nettement moins de mémoire. Ces modèles sont optimisés pour de nombreuses applications, allant des solutions d'entreprise en finance, biotechnologie et électronique grand public, à leur déploiement sur des dispositifs edge.

Cependant, il est important de noter que les LFMs ne sont pas open source. Les utilisateurs doivent y accéder via les plateformes d'inférence de Liquid, comme Lambda Chat ou Perplexity AI.

L'approche de Liquid dans le développement des LFMs intègre un mélange d'unités computationnelles ancrées dans la théorie des systèmes dynamiques, le traitement du signal et l'algèbre linéaire numérique. Cela donne lieu à des modèles d'IA généralistes capables de traiter différents types de données séquentielles, y compris des vidéos, de l’audio, du texte et des séries temporelles.

L'année dernière, des rapports ont mis en avant l'accent mis par Liquid AI sur les Liquid Neural Networks (LNNs), une architecture développée par CSAIL pour améliorer l'efficacité et l'adaptabilité des neurones artificiels. Contrairement aux modèles d'apprentissage profond traditionnels nécessitant de nombreux neurones pour des tâches complexes, les LNNs démontrent que moins de neurones, combinés à des techniques mathématiques innovantes, peuvent obtenir des résultats comparables.

Les LFMs tirent parti de cette adaptabilité, permettant des ajustements en temps réel lors de l'inférence avec un minimum de charge computationnelle. Par exemple, le modèle LFM-3B excelle dans la gestion du traitement des contextes longs tout en maintenant une empreinte mémoire plus petite par rapport à des modèles tels que Gemma-2 de Google, Phi-3 de Microsoft et Llama-3.2 de Meta.

Grâce à sa capacité multimodale, Liquid AI répond aux défis divers de l'industrie dans les secteurs des services financiers, de la biotechnologie et de l'électronique grand public. Actuellement en phase de prévisualisation, Liquid AI encourage les premiers utilisateurs à tester les modèles et à fournir des retours. Un événement de lancement complet est prévu pour le 23 octobre 2024, à l'auditorium Kresge du MIT à Cambridge, MA, avec des RSVPs acceptés. En préparation, Liquid AI prévoit de publier une série d'articles techniques et de promouvoir des efforts de red-teaming, invitant les utilisateurs à tester leurs modèles pour de futures améliorations.

Avec le lancement des Liquid Foundation Models, Liquid AI vise à s'imposer comme un acteur majeur dans le secteur des modèles fondamentaux, alliant performances exceptionnelles et efficacité mémoire inégalée.