1X創新的生成模型:開創現實世界機器人互動的預測先河

機器人初創公司1X Technologies推出了一款突破性的生成模型,旨在提高在模擬環境中訓練機器人系統的效率。根據他們最新的部落格文章,這個模型解決了機器人學中的一個關鍵挑戰:創建能準確預測環境如何根據機器人行動而變化的「世界模型」。

在物理空間中直接訓練機器人成本高且風險大,這使得機器人專家不得不依賴模擬環境來進行模型開發,然後再進行實際部署。然而,模擬與實際物理環境之間的差異可能會帶來重大挑戰。

1X Technologies的AI副總裁Eric Jang表示:「機器人專家通常會手動設計場景,這些場景充當真實世界的‘數字孿生’,使用MuJoCo、Bullet和Isaac等剛體模擬器進行動態模擬。可惜的是,這些數字孿生可能在物理和幾何上存在不準確性,導致‘模擬到現實的差距’。例如,從網上下載的門模型,可能與測試中使用的門在手柄的彈簧剛度上無法完全重現。」

生成世界模型

為了克服這一差距,1X的創新模型通過直接從機器人收集的原始傳感器數據進行訓練來模擬現實世界的動態。它分析了來自公司人形機器人的數千小時視頻和驅動數據,這些機器人在家庭和辦公環境中執行各種移動操控任務。

Jang表示:「我們從1X辦公室收集數據,並由一組Android操作員進行標註和篩選。通過直接從真實世界的互動構建模擬器,我們可以隨著互動數據庫的擴展,獲得與實際場景更為一致的動態。」

所開發的世界模型在模擬物體互動方面表現出色。公司分享的視頻展示了該模型準確預測機器人抓取箱子並與各種物體(包括剛性物體和如窗簾、衣物等可變形物品)互動的能力,同時考慮到複雜的動態情況,如避開障礙物並保持與人安全距離。

生成模型的挑戰

儘管取得了進展,該模型仍面臨由於環境變化所帶來的挑戰。與任何模擬器一樣,它需要隨著操作環境的變化進行更新。然而,研究人員相信,模型的學習方法能夠更容易地進行更新。

Jang承認:「如果生成模型的訓練數據過時,可能會出現模擬到現實的差距。我們的目標是創建一個可以不斷用新實際數據精細化的學習模擬器,而不需要手動調整。」

1X的這一方法受到OpenAI Sora和Runway等先進技術的啟發,這些技術展示了生成模型可以在適當的訓練數據下保持一致性。

雖然其他模型通常從文本輸入生成視頻,1X則專注於在生成階段動態響應的生成系統,這使其站在創新前沿。例如,谷歌研究人員採用了類似技術來訓練能夠模擬互動環境的生成模型,如遊戲DOOM。

儘管取得了這些進展,挑戰仍然存在。缺乏明確定義的世界模擬器,有時會導致不現實的場景——例如,模型可能錯誤預測懸掛的物體不會掉落,或者可能導致某個物體在幀之間消失。解決這些問題需要持續的努力。

一個潛在的解決方案在於不斷累積更多數據以增強模型訓練。Jang指出:「最近生成視頻建模的進展令人矚目,OpenAI Sora的結果表明,擴大量據和計算能力可以帶來顯著改善。」

1X正在積極與社區互動,釋放其模型和權重,並計劃舉辦提供獎金的比賽,鼓勵參與者貢獻以完善模型。

Jang總結道:「我們正在探索各種世界建模和視頻生成的方法,強調公司對持續創新的承諾。」

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles