Les modèles fondamentaux ont révolutionné la vision par ordinateur et le traitement du langage naturel, et les chercheurs proposent désormais d'appliquer ces principes pour développer des agents fondamentaux. Ces systèmes d'IA sont conçus pour des tâches de prise de décision ouvertes dans des environnements physiques.
Dans un récent document de position, des scientifiques de l'Université de l'Académie Chinoise des Sciences définissent les agents fondamentaux comme des "agents généralement capables dans les mondes physiques et virtuels." Ils suggèrent que ces agents pourraient entraîner un changement de paradigme dans la prise de décision, similaire à la révolution apportée par les grands modèles de langage (LLMs) dans les tâches linguistiques et centrées sur le savoir.
Les agents fondamentaux sont sur le point de simplifier la création de systèmes d'IA polyvalents pouvant avoir un impact significatif dans des domaines actuellement dépendants de solutions d'IA rigides et spécifiques.
Les Défis de la Prise de Décision en IA
Les approches traditionnelles de prise de décision en IA présentent des limites notables. Les systèmes experts reposent sur une connaissance humaine formelle et des règles créées manuellement. Les systèmes d'apprentissage par renforcement (RL) exigent une formation extensive de zéro pour chaque nouvelle tâche, limitant leurs capacités de généralisation. L'apprentissage par imitation (IL) nécessite un effort humain considérable pour préparer les exemples d'entraînement.
En revanche, les LLMs et les modèles de langage visuel (VLMs) s'adaptent rapidement à différentes tâches avec un minimum d'ajustement. Les chercheurs estiment qu'avec les modifications nécessaires, ces méthodes peuvent être adaptées pour développer des agents fondamentaux capables de traiter des tâches de prise de décision ouvertes tant dans les domaines physiques que virtuels.
Caractéristiques Clés des Agents Fondamentaux
Les chercheurs soulignent trois caractéristiques essentielles des agents fondamentaux :
1. Représentation Unifiée : Une représentation combinée des états environnementaux, des actions des agents et des signaux de feedback.
2. Interface de Politique Unifiée : Applicable à un large éventail de tâches et de domaines, y compris la robotique, les jeux vidéo, la santé, etc.
3. Processus de Prise de Décision Raisonné : Des décisions basées sur une compréhension des connaissances mondiales, des facteurs environnementaux et des interactions avec d'autres agents.
Selon les chercheurs, "Ces caractéristiques dotent les agents fondamentaux d'une perception multimodale, d'une adaptabilité à travers les tâches et les domaines, ainsi que de la capacité à généraliser avec peu ou pas d'exemples."
Une Feuille de Route pour les Agents Fondamentaux
La feuille de route proposée pour le développement des agents fondamentaux comprend trois composants cruciaux :
1. Collecte de Données : Des données interactives à grande échelle doivent être collectées à partir d'environnements internet et du monde réel. Dans les cas où l'acquisition de données est difficile, des simulateurs et des modèles génératifs comme Sora peuvent être utilisés.
2. Pré-formation sur des Données Non Étiquetées : Les agents fondamentaux devraient être pré-entraînés à l'aide de données non étiquetées pour développer des connaissances décisionnelles utiles. Cela prépare les modèles à un ajustement rapide avec des ensembles de données spécifiques plus petits.
3. Alignement avec les LLMs : Les agents fondamentaux devraient être intégrés aux grands modèles de langage pour incorporer des connaissances mondiales et des valeurs humaines dans leurs processus de prise de décision.
Défis et Opportunités pour les Agents Fondamentaux
Le développement des agents fondamentaux présente des défis uniques non rencontrés avec les modèles de langage et de vision. Les détails du monde physique impliquent des informations de bas niveau plutôt que des abstractions de haut niveau, ce qui complique la création de représentations unifiées des variables de prise de décision.
De plus, les variations substantielles entre les domaines des scénarios de prise de décision entravent l'élaboration d'une interface de politique cohérente. Bien qu'un modèle fondamental unifié puisse englober toutes les modalités et environnements, cela pourrait également introduire de la complexité, affectant potentiellement l'interprétabilité.
Les agents fondamentaux doivent s'engager activement dans des processus de prise de décision dynamiques, ce qui marque une rupture avec les rôles principalement centrés sur le contenu des modèles de langage et de vision. Les chercheurs proposent diverses voies pour combler le fossé entre les modèles fondamentaux existants et les agents capables de naviguer dans des tâches et environnements évolutifs.
Des avancées significatives se dessinent dans le domaine de la robotique, où les systèmes de contrôle et les modèles fondamentaux convergent pour créer des systèmes adaptables capables de généraliser à travers des tâches inédites. Ces systèmes utilisent l'énorme connaissance de bon sens des LLMs et des VLMs pour prendre des décisions éclairées dans des situations inconnues.
Un autre secteur vital à explorer est la conduite autonome, où les chercheurs étudient comment les grands modèles de langage peuvent améliorer les systèmes de conduite en incorporant des connaissances de bon sens et des capacités cognitives humaines. D'autres domaines, comme la santé et la recherche scientifique, pourraient également bénéficier de la collaboration entre agents fondamentaux et experts humains.
"Les agents fondamentaux ont le potentiel de transformer les processus de prise de décision, tout comme les modèles fondamentaux ont impacté le langage et la vision", affirment les chercheurs. "Leur perception avancée, leur adaptabilité et leurs capacités de raisonnement non seulement comblent les lacunes des RL conventionnels, mais libèrent également le potentiel des agents fondamentaux dans des applications réelles."
Classement
