Une technique révolutionnaire développée par la startup tokyoïte Sakana AI, connue sous le nom de Fusion de Modèles Évolutionnaires, automatise la création de modèles génératifs. S'inspirant de la sélection naturelle, cette approche combine des éléments de modèles existants pour produire des itérations plus avancées.
Sakana AI, cofondée en août 2023 par des chercheurs en intelligence artificielle de renom tels que les anciens experts de Google David Ha et Llion Jones—co-auteur du célèbre article "Attention Is All You Need"—se positionne à l'avant-garde de l'innovation en IA générative.
Révolution de Développement de Modèles
La Fusion de Modèles Évolutionnaires de Sakana permet aux développeurs et aux organisations de créer et d'explorer de nouveaux modèles de manière économique, éliminant ainsi le besoin d'un entraînement coûteux et d'un ajustement fin de modèles propriétaires. La startup a récemment introduit des grands modèles de langage (LLMs) et des modèles vision-langage (VLMs) développés grâce à cette technique novatrice.
Comprendre la Fusion de Modèles
L'entraînement de modèles génératifs est souvent onéreux et complexe. Cependant, avec l'émergence de modèles ouverts tels que Llama 2 et Mistral, les développeurs exploitent la fusion de modèles—combinant divers composants de deux modèles pré-entraînés ou plus pour former un nouveau modèle. Cette méthode permet au modèle fusionné d'hériter des forces de ses prédécesseurs sans nécessiter d'entraînement supplémentaire, en faisant une option économiquement avantageuse. De nombreux modèles de premier plan sur les classements Open LLM sont désormais des variantes fusionnées de modèles fondamentaux populaires.
Les chercheurs de Sakana AI notent : « Une communauté dynamique de chercheurs, de hackers et d'artistes développe activement de nouveaux modèles fondamentaux en affinant et en fusionnant des modèles existants. » Avec plus de 500 000 modèles disponibles sur Hugging Face, la fusion de modèles offre d'énormes opportunités pour créer des solutions innovantes à des coûts minimaux, bien qu'elle nécessite une intuition et des connaissances de domaine significatives.
Présentation de la Fusion de Modèles Évolutionnaires
Sakana AI cherche à optimiser le processus de fusion de modèles grâce à une approche systématique. S'inspirant des algorithmes évolutionnaires—des techniques d'optimisation imitant la sélection naturelle—la Fusion de Modèles Évolutionnaires identifie les moyens les plus efficaces de combiner différents modèles.
David Ha souligne : « La capacité d'évoluer de nouveaux modèles à partir de modèles existants variés a des implications cruciales. » Face à l'augmentation des demandes en ressources pour l'entraînement de modèles fondamentaux, cette approche évolutionnaire pourrait s'avérer bénéfique pour des institutions ou des gouvernements cherchant à développer rapidement des modèles prototypes sans investissement substantiel.
La Fusion de Modèles Évolutionnaires fonctionne automatiquement, évaluant les couches et les poids des modèles existants pour créer de nouvelles architectures adaptées aux besoins des utilisateurs.
Démonstration de la Fusion Évolutionnaire
Pour explorer le potentiel de cette approche, les chercheurs de Sakana AI ont appliqué la Fusion de Modèles Évolutionnaires pour créer un LLM japonais capable de raisonnement mathématique et un VLM japonais. Les modèles résultants ont surpassé plusieurs référentiels sans optimisation explicite. Par exemple, leur EvoLLM-JP, un LLM japonais de 7 milliards de paramètres, a excellé même contre des concurrents de 70 milliards de paramètres.
Pour le VLM japonais, l'équipe a fusionné LLaVa-1.6-Mistral-7B avec Shisa-Gamma 7B, donnant naissance à EvoVLM-JP, qui a dépassé à la fois LLaVa-1.6-Mistral-7B et le JSVLM préexistant. Les deux modèles sont disponibles sur Hugging Face et GitHub.
Sakana AI adapte également ses méthodes de fusion évolutionnaire pour les modèles de génération d'images par diffusion, visant à améliorer les performances de Stable Diffusion XL pour des requêtes en japonais.
La Vision de Sakana AI
Fondée par David Ha et Llion Jones, Sakana AI cherche à exploiter des concepts inspirés de la nature, tels que l'évolution et l'intelligence collective, pour créer des modèles fondamentaux d'IA. L'équipe est convaincue que l'avenir de l'IA ne tournera pas autour d'un système unique et omniprésent, mais plutôt autour d'un réseau de systèmes d'IA spécialisés adaptés à des niches distinctes, collaborant et évoluant pour répondre à divers besoins.
Classement
