Le responsable de l'IA chez Meta, Yann LeCun, plaide depuis longtemps en faveur de systèmes d'apprentissage automatique (ML) capables d'explorer et de comprendre autonomement leur environnement avec un minimum d'intervention humaine. La dernière avancée de Meta, le V-JEPA (Video Joint Embedding Predictive Architecture), s'approche de cet objectif ambitieux.
Le V-JEPA vise à reproduire les capacités humaines et animales à prédire les interactions des objets. Pour ce faire, il apprend des représentations abstraites à partir de séquences vidéo brutes.
Fonctionnement du V-JEPA
Prenons l'exemple d'une vidéo d'une balle se dirigeant vers un mur ; on s'attend à ce qu'elle rebondisse à l'impact. Ces observations fondamentales forment la base de notre apprentissage précoce de l'interprétation du monde, souvent avant l'acquisition des compétences linguistiques. Le V-JEPA utilise une approche similaire appelée "apprentissage auto-supervisé", éliminant ainsi le besoin de données annotées par des humains. Lors de l'entraînement, le modèle reçoit des segments vidéo avec certaines parties masquées, l'incitant à prédire le contenu caché. Son objectif n'est pas de recréer chaque pixel, mais d'identifier un ensemble compact de caractéristiques latentes illustrant les interactions entre les éléments de la scène. Le V-JEPA compare ensuite ses prédictions au contenu vidéo réel, ajustant ses paramètres en fonction des écarts.
En mettant l'accent sur les représentations latentes, le V-JEPA améliore la stabilité et l'efficacité du modèle. Au lieu de se concentrer sur une seule tâche, il s'entraîne sur des vidéos diverses reflétant la variabilité du monde réel. Les chercheurs ont mis en place une stratégie de masquage spécialisée qui encourage le modèle à comprendre les interactions profondes des objets plutôt que de se contenter de raccourcis superficiels.
Après un entraînement extensif sur des vidéos, le V-JEPA développe un modèle robuste du monde physique, capable de comprendre des interactions d'objets complexes. Initialement proposé par LeCun en 2022, le V-JEPA est une évolution du modèle I-JEPA lancé l'année précédente, qui se concentrait sur les images. En revanche, le V-JEPA analyse des vidéos, tirant parti de leur aspect temporaire pour cultiver des représentations plus cohérentes.
Le V-JEPA en Action
En tant que modèle de base, le V-JEPA constitue un système polyvalent adaptable à diverses tâches. Contrairement à la nécessité fréquente de peaufiner la plupart des modèles ML, le V-JEPA peut être utilisé directement comme entrée pour des modèles d'apprentissage profond légers nécessitant peu d'exemples annotés pour relier ses représentations à des tâches spécifiques, telles que la classification d'images, la classification d'actions et la détection d'actions spatio-temporelles. Cette architecture est non seulement efficace en ressources, mais également plus facile à gérer.
Cette capacité est précieuse dans des domaines tels que la robotique et les voitures autonomes, où les systèmes doivent comprendre et naviguer dans leur environnement avec un modèle du monde réaliste.
"Le V-JEPA est un pas vers une compréhension plus concrète du monde, permettant aux machines de s'engager dans un raisonnement et une planification généralisés", déclare LeCun.
Malgré ses avancées, le V-JEPA a un potentiel d'amélioration. Actuellement, il excelle dans le raisonnement sur de courtes séquences vidéo, mais le prochain défi pour l'équipe de recherche de Meta est d'étendre son horizon temporel. De plus, ils visent à combler le fossé entre JEPA et l'intelligence naturelle en expérimentant des représentations multimodales. Meta a rendu le V-JEPA disponible sous une licence Creative Commons NonCommercial, invitant la collaboration et l'expérimentation de la part de la communauté de recherche.
En réfléchissant au paysage de l'IA, LeCun a comparé l'intelligence à un gâteau, où l'apprentissage auto-supervisé constitue la plus grande part, l'apprentissage supervisé le glaçage, et l'apprentissage par renforcement la cerise sur le gâteau.
Bien que des progrès significatifs aient été réalisés, nous ne faisons qu'effleurer le potentiel complet de l'IA.
Classement
