Nvidia 正在通過推出 Project GR00T,徹底改變機器人技術。這是一種前沿的多模態人工智慧,旨在為未來的人形機器人賦能,透過先進的基礎 AI。
在聖荷西 McEnery 會議中心的 GTC 會議上,Project GR00T 亮相,這一項目利用通用的基礎模型,使人形機器人能夠處理來自文字、語音、視頻和現場演示的資訊,以執行特定動作。該項目充分利用了 Nvidia 的 Isaac Robotics 平台,包括專門針對強化學習的新 Isaac Lab。
Nvidia CEO 黃仁勳表示:「為通用人形機器人建立基礎模型是當今人工智慧最令人興奮的挑戰之一。」他強調,促進技術的融合為全球機器人學家提供了在人工通用機器人領域實現重大進展的潛力。
為了幫助企業利用 GR00T,Nvidia 推出了專門為人形機器人量身定制的 Jetson Thor 晶片。該公司還宣佈了針對開發具備 AI 驅動的工業操作臂和能在非結構化環境中運行的機器人的重大改進。
Project GR00T 預示著什麼?
雖然名稱令人聯想到 Marvel 的 Groot,但實際上它代表的是 Generalist Robot 00 Technology。Nvidia 指出,GR00T 被設計來理解自然語言文字、語音、視頻和現場演示,使其能夠複製人類動作,協調靈活性和其他技能以在現實世界中互動。
此項進展不僅擴展了人形機器人的能力,還簡化了開發和部署流程。透過文字和演示等輸入,任何具備必要訪問權限的人都能夠編程機器人。
在 GTC 的主題演講中,黃仁勳展示了由 Agility Robotics、Apptronik、Fourier Intelligence 和 Unitree Robotics 等公司提供的 GR00T 驅動的人形機器人執行各種任務。Deepu Talla 向記者簡介 GR00T,表示該項目將利用最新的生成 AI 與變換器技術,儘管目前對其能力範圍的具體資訊仍有限。
作為生成 AI 的領導者,OpenAI 也在探索具身 AI,並支持像 1X Technologies 和 Figure 等初創企業。最近,Figure 展示了一台機器人執行日常瑣事,包括使用由 OpenAI 開發的大型視覺-語言模型收集垃圾。
Project GR00T 為人形機器人提供智慧,使它們能夠學習多種有用技能。在媒體詢問中,Talla 提到,雖然目前尚無詳細的內部架構資訊,但未來將分享 GR00T 的更多能力洞察。目前,只有部分人形開發者能夠早期獲取該模型,Nvidia 預計很快會向更多開發者擴大訪問權限。
為確保人形機器人能運行像 GR00T 這樣的複雜多模態模型,Nvidia 推出了 Jetson Thor 計算平台。這一高效能計算系統基於 Thor SoC,包含強大的 CPU 集群和下一代 GPU,能提供 800 兆浮點AI效能。Talla 強調,這款 GPU 性能是上一代 Jetson Orin 的八倍,而 CPU 性能則高出 2.6 倍。
GR00T 的核心:新 Isaac 機器人工具
Nvidia 正在利用其 Isaac Robotics 平台推進 Project GR00T,為開發者提供全面的端到端框架,用於設計、模擬和部署 AI 驅動的機器人。
該項目利用全新的 Isaac Lab——一個 GPU 加速的虛擬環境——並通過平行模擬進行模型的訓練和測試。此外,OSMO 計算協作服務可以管理在 Nvidia DGX 和 OVX 系統上的訓練和模擬工作負載。
Isaac Robotics 平台也在擴展其功能,提供兩個針對性的解決方案:Isaac Manipulator 和 Isaac Perceptor。Isaac Manipulator 提供 GPU 加速的庫和基礎模型,以提升機械臂的運動和靈活性,包括檢測物體、估算其 6D 位置、跟蹤和進行詳細抓取預測的模型。
而 Isaac Perceptor 則通過 AI 算法驅動的多攝像頭 360 度視覺,幫助機器人穿越非結構化環境,進行 3D 感知和周邊意識。Nvidia 正通過其 Nova Orin DevKit 提供這項技術,並與 ArcBest、比亞迪和 KION Group 等合作夥伴合作,提升其在製造與物流領域的自主移動機器人功能。
ArcBest 首席創新官 Michael Newcity 表示:「將 Isaac Perceptor 平台集成到我們的 Vaux Smart Autonomy AMR 堆高機和伸縮臂叉車中,能夠改進感知、語意意識導航和障礙物檢測的 3D 地圖功能。」
Isaac 平台的新功能預計將在今年第二季度推出,而 Project GR00T 仍處於早期訪問階段。Nvidia 正在接受其他人形開發者的申請,未來的更廣泛公眾發布計劃尚未公佈。