Nvidia revolutioniert die Robotik mit der Einführung von Project GR00T – einer fortschrittlichen multimodalen KI, die humanoide Roboter der Zukunft mit einer leistungsstarken Grund-KI ausstattet.
Das Projekt wurde während der GTC-Konferenz im San Jose McEnery Convention Center vorgestellt und nutzt ein allgemein einsetzbares Grundmodell, das humanoiden Robotern ermöglicht, Texte, Sprache, Videos und Live-Demonstrationen zu verarbeiten und spezifische Aktionen auszuführen. Project GR00T nutzt die Nvidia Isaac Robotics Platform, einschließlich eines neuen Isaac Lab, das sich auf Reinforcement Learning spezialisiert.
„Das Entwickeln von Grundmodellen für allgemeine humanoide Roboter ist eine der spannendsten Herausforderungen in der KI von heute“, erklärte Nvidia-CEO Jensen Huang. Er betonte, dass die Zusammenführung von Schlüsseltechnologien Robotikern weltweit signifikante Fortschritte in der künstlichen allgemeinen Robotik ermöglicht.
Um Unternehmen die Nutzung von GR00T zu erleichtern, hat Nvidia den spezialisierten Jetson Thor Chip für humanoide Roboter eingeführt. Das Unternehmen kündigte außerdem bedeutende Verbesserungen für die Entwicklung KI-gesteuerter Industrieroboterarme und Roboter an, die sich in unstrukturierten Umgebungen bewegen können.
Was erwartet Sie von Nvidia Project GR00T?
Obwohl der Name an Marvels Groot erinnert, steht er tatsächlich für Generalist Robot 00 Technology. Laut Nvidia ist GR00T darauf ausgelegt, natürliche Sprache, Text, Videos und Live-Demonstrationen zu verstehen, sodass es menschliche Bewegungen nachahmen kann und die Koordination von Geschicklichkeit und anderen Fähigkeiten ermöglicht, um mit der realen Welt zu interagieren.
Diese Entwicklung erweitert nicht nur die Fähigkeiten humanoider Roboter, sondern vereinfacht auch den Entwicklungs- und Implementierungsprozess. Mit Eingaben wie Text und Demonstrationen können Roboter von jedem, der die erforderlichen Zugriffsrechte hat, programmiert werden.
In seiner Keynote auf der GTC zeigte Huang verschiedene Aufgaben, die von GR00T-gesteuerten humanoiden Robotern der Unternehmen Agility Robotics, Apptronik, Fourier Intelligence und Unitree Robotics ausgeführt wurden. Deepu Talla, der die Journalisten über GR00T informierte, wies darauf hin, dass das Projekt von den neuesten Fortschritten in der generativen KI und Transformers profitiert, auch wenn derzeit nur begrenzte Informationen über die gesamte Bandbreite seiner Fähigkeiten verfügbar sind.
OpenAI, ein führendes Unternehmen in der generativen KI, hat ebenfalls Schritte in Richtung verkörperter KI unternommen und unterstützt Startups wie 1X Technologies und Figure. Kürzlich demonstrierte Figure einen ihrer Roboter, der Routinetätigkeiten wie das Aufräumen von Müll unter Verwendung eines von OpenAI entwickelten großen Vision-Language-Modells ausführen konnte.
Project GR00T dient als Intelligenz hinter humanoiden Robotern und stattet sie mit der Fähigkeit aus, Fähigkeiten für verschiedene nützliche Aufgaben zu erlernen.
Während einer Medienanfrage stellte Talla fest, dass detaillierte Informationen zur internen Architektur derzeit nicht verfügbar sind, aber in der Zukunft weitere Einblicke in die Fähigkeiten von GR00T geteilt werden. Bisher haben nur ausgewählte humanoide Entwickler frühzeitigen Zugang zum Modell, aber Nvidia plant, den Zugang bald auf weitere Entwickler auszuweiten.
Um sicherzustellen, dass humanoide Roboter komplexe multimodale Modelle wie GR00T betreiben können, stellte Nvidia die Jetson Thor Computing-Plattform vor. Dieses Hochleistungs-Computersystem, das auf dem Thor SoC basiert, umfasst einen leistungsstarken CPU-Cluster und eine Next-Gen-GPU aus Nvidias Blackwell-Architektur, die 800 Teraflops an 8-Bit-Gleitkomma-KI-Leistung liefert. Talla hob hervor, dass die GPU-Leistung achtmal besser ist als die vorherige Jetson Orin-Version und die CPU-Leistung 2,6-mal überlegen ist.
Neue Isaac Robotics-Tools im Kern von GR00T
Nvidia nutzt seine Isaac Robotics Platform, um Project GR00T zu realisieren und Entwicklern ein umfassendes, durchgängiges Framework für das Design, die Simulation und die Implementierung KI-gesteuerter Roboter anzubieten.
Das Projekt nutzt das neue Isaac Lab – eine GPU-beschleunigte virtuelle Umgebung – und verwendet parallele Simulationen für das Training und die Testung des Modells. Darüber hinaus ermöglicht der OSMO Compute Orchestrierungsdienst die Verwaltung von Trainings- und Simulationslasten auf Nvidia DGX- und OVX-Systemen.
Die Isaac Robotics Platform erweitert auch ihr Angebot mit zwei gezielten Lösungen: Isaac Manipulator und Isaac Perceptor.
Isaac Manipulator bietet GPU-beschleunigte Bibliotheken und Grundmodelle, um Roboterarme mit fortschrittlicher Bewegung und Geschicklichkeit zu verbessern. Dazu gehören Modelle zur Objekterkennung, Schätzung der 6D-Position, Verfolgung und detaillierte Vorhersagen für das Greifen.
Isaac Perceptor hingegen unterstützt Roboter dabei, sich in unstrukturierten Umgebungen mithilfe von Multi-Kamera-360-Grad-Visualisierungsfähigkeiten zurechtzufinden, die von KI-Algorithmen für 3D-Wahrnehmung und Situationsbewusstsein angetrieben werden. Nvidia stellt diese Technologie über sein Nova Orin DevKit zur Verfügung und arbeitet mit Partnern wie ArcBest, BYD und KION Group zusammen, um deren Funktionalitäten von autonomen mobilen Robotern in der Fertigung und Logistik zu verbessern.
„Die Integration der Isaac Perceptor-Plattform in unsere Vaux Smart Autonomy AMR-Gabelstapler und -Reach Trucks ermöglicht eine verbesserte Wahrnehmung, semantisch bewusste Navigation und 3D-Kartierung zur Hinderniserkennung bei Materialhandling in Lagern und Distributionszentren“, sagte Michael Newcity, Chief Innovation Officer bei ArcBest.
Die neuen Funktionen der Isaac-Plattform werden im zweiten Quartal dieses Jahres eingeführt, während Project GR00T weiterhin im frühen Zugang ist. Nvidia nimmt Bewerbungen von weiteren humanoiden Entwicklern entgegen, während die Pläne für eine breitere Veröffentlichung noch bekannt gegeben werden müssen.
Rangliste
