Nvidia révolutionne la robotique avec le lancement du Projet GR00T, une IA multimodale de pointe destinée à doter les robots humanoïdes de demain d'une intelligence fondamentale avancée. Présenté lors de la conférence GTC au Centre de convention McEnery de San José, le Projet GR00T utilise un modèle de base à usage général permettant aux robots humanoïdes de traiter des entrées issues de textes, de discours, de vidéos et de démonstrations en direct pour effectuer des actions spécifiques. Ce projet s’appuie sur la plateforme Isaac Robotics de Nvidia, incluant un nouvel Isaac Lab dédié à l'apprentissage par renforcement.
« Construire des modèles de base pour des robots humanoïdes généraux est l'un des défis les plus passionnants de l'IA aujourd'hui », a déclaré Jensen Huang, PDG de Nvidia. Il a souligné que la confluence des technologies habilitantes offre aux roboticiens du monde entier la possibilité de réaliser des avancées significatives dans la robotique générale artificielle.
Pour aider les entreprises à exploiter GR00T, Nvidia a introduit la puce Jetson Thor, spécialement conçue pour les robots humanoïdes. L'entreprise a également annoncé d'importantes améliorations pour le développement de bras de manipulation industriels alimentés par l'IA et de robots capables de naviguer dans des environnements non structurés.
Qu'attendre du Projet GR00T de Nvidia ?
Bien que le nom évoque Groot de Marvel, il signifie en réalité Technologie de Robot Généraliste 00. Selon Nvidia, GR00T est conçu pour comprendre des textes en langage naturel, des discours, des vidéos et des démonstrations en direct, ce qui lui permet de reproduire les mouvements humains—en coordonnant dextérité et autres compétences pour interagir avec le monde réel.
Cette avancée non seulement étend les capacités des robots humanoïdes, mais simplifie également le processus de développement et de déploiement. Avec des entrées comme des textes et des démonstrations, des individus disposant des accès nécessaires peuvent programmer les robots.
Lors de son discours inaugural à la GTC, Huang a démontré diverses tâches réalisées par des robots humanoïdes alimentés par GR00T, issus de sociétés telles qu'Agility Robotics, Apptronik, Fourier Intelligence et Unitree Robotics. Deepu Talla, qui a informé les journalistes sur GR00T, a précisé que le projet capitalise sur les dernières avancées en matière d'IA générative et de transformateurs, bien que les détails sur son éventail complet de capacités restent limités pour le moment.
OpenAI, un leader de l'IA générative, s'implique également dans l'IA incarnée, soutenant des startups comme 1X Technologies et Figure. Récemment, Figure a montré l'un de ses robots réalisant des tâches courantes, comme ramasser des déchets, à l'aide d'un modèle vision-langage développé par OpenAI.
Le Projet GR00T constitue l'intelligence derrière les robots humanoïdes, leur conférant la capacité d'apprendre des compétences pour diverses tâches utiles.
Lors d'une demande d'informations de la presse, Talla a noté qu'il n'était pas encore possible d'obtenir des précisions sur l'architecture interne, mais que davantage d'informations sur les capacités de GR00T seraient partagées ultérieurement. Actuellement, seuls quelques développeurs de robots humanoïdes ont accès précoce au modèle, mais Nvidia prévoit d'élargir l'accès à d'autres développeurs prochainement.
Pour garantir que les robots humanoïdes puissent faire fonctionner des modèles multimodaux complexes comme GR00T, Nvidia a introduit la plateforme de calcul Jetson Thor. Basée sur le SoC Thor, ce système de calcul haute performance comprend un puissant cluster de CPU et un GPU de nouvelle génération provenant de l'architecture Blackwell de Nvidia, capable de fournir 800 teraflops de performance AI en virgule flottante 8 bits. Talla a souligné que cette performance GPU est huit fois supérieure à celle de la version précédente Jetson Orin, et que la performance CPU est 2,6 fois supérieure.
Nouveaux outils Isaac Robotics au cœur de GR00T
Nvidia utilise sa plateforme Isaac Robotics pour concrétiser le Projet GR00T, offrant aux développeurs un cadre complet de bout en bout pour concevoir, simuler et déployer des robots alimentés par l'IA.
Le projet s’appuie sur le nouvel Isaac Lab, un environnement virtuel accéléré par GPU, utilisant des simulations parallèles pour l'entraînement et les tests du modèle. De plus, le service d'orchestration de calcul OSMO permet de gérer les charges de travail d’entraînement et de simulation sur les systèmes Nvidia DGX et OVX.
La plateforme Isaac Robotics enrichit également son offre avec deux solutions ciblées : Isaac Manipulator et Isaac Perceptor.
Isaac Manipulator fournit des bibliothèques accélérées par GPU et des modèles de base pour améliorer les bras robotiques avec des mouvements et dextérités avancés, incluant des modèles pour la détection d'objets, l'estimation de leur pose 6D, le suivi et des prédictions détaillées pour la préhension.
D'un autre côté, Isaac Perceptor aide les robots à naviguer dans des environnements non structurés grâce à des capacités de vision à 360 degrés pilotées par des algorithmes d'IA pour la perception 3D et la conscience environnante. Nvidia rend cette technologie accessible via son Nova Orin DevKit, en collaborant avec des partenaires comme ArcBest, BYD et KION Group pour améliorer leurs fonctionnalités de robots mobiles autonomes en fabrication et en distribution.
« L'intégration de la plateforme Isaac Perceptor dans nos chariots élévateurs autonomes AMR Vaux Smart Autonomy et nos chariots télescopiques permet d'améliorer la perception, la navigation sémantique et la cartographie 3D pour la détection d'obstacles dans la manipulation de matériaux dans les entrepôts et centres de distribution », a déclaré Michael Newcity, directeur de l'innovation chez ArcBest.
Les nouvelles capacités de la plateforme Isaac devraient être lancées au deuxième trimestre de cette année, tandis que le Projet GR00T reste en accès anticipé. Nvidia accepte les candidatures de développeurs humanoïdes supplémentaires, avec des plans pour une future sortie publique plus large encore à annoncer.
Classement
