OpenVLA：一個開源的通用機器人框架，適用於多種應用

Home AI新聞 OpenVLA：一個開源的通用機器人框架，適用於多種應用

基礎模型與機器人技術：OpenVLA的崛起

基礎模型在機器人技術領域取得了顯著進展，促進了視覺-語言-行動（VLA）模型的開發。這些模型能夠推廣到超出其初始訓練數據的物體、場景和任務。然而，由於其封閉性質及缺乏最佳實踐，這些模型的採用受到限制，使得在新環境中的部署和適應成為挑戰。

引入OpenVLA

為了解決這些問題，斯坦福大學、加州大學柏克萊分校、豐田研究所、Google DeepMind及其他機構的研究人員推出了OpenVLA，這是一個開源的VLA模型，訓練於多樣化的真實世界機器人演示。OpenVLA不僅在機器人任務上超越其他模型，還能輕鬆微調，以提高在涵蓋多種物體的多任務環境中的表現。該模型旨在高效運行，利用優化技術在消費級GPU上以最低的微調成本運行。

視覺-語言-行動模型的重要性

傳統的機器人操作方法通常在情境外的推廣上面臨挑戰，面對干擾或未見物體時效果不佳，並且難以適應略有變動的任務指示。相對而言，大型語言模型（LLMs）和視覺-語言模型（VLMs）因其龐大的互聯網範圍預訓練數據集而在推廣能力上表現優異。近期，研究實驗室已開始將LLMs和VLMs作為開發機器人政策的基礎組件。

兩種主要方法包括在模塊化系統中利用預訓練的LLMs和VLMs進行任務規劃與執行，以及從零開始構建VLA以生成機器人控制指令。RT-2和RT-2-X等著名案例為通用型機器人政策樹立了新的基準。

當前的VLA面臨兩大挑戰：封閉的架構限制了訓練和數據混合的透明度，缺乏將其部署及適應至新機器人和任務的標準實踐。研究人員強調需要開源的通用VLA以促進有效的適應，這與現有的語言模型開源生態系統相呼應。

OpenVLA的架構

OpenVLA由70億個參數組成，基於Prismatic-7B視覺-語言模型，包含一個雙部分的視覺編碼器進行圖像特徵提取，並搭配一個LLaMA-2 7B語言模型來處理指令。該模型在來自Open-X Embodiment數據集的970,000個機器人操作軌跡上進行微調，涵蓋了各種機器人任務和環境，同時生成與特定機器人行動對應的指令代碼。

OpenVLA接收自然語言指令和輸入圖像，通過推理確定完成任務（如“擦拭桌子”）所需的最佳行動序列。其性能驚人，超越了55億參數的RT-2-X模型，後者曾被認為是WidowX和Google Robot的最先進模型。

微調與效率

研究人員探討了在七個操作任務中高效的微調策略，顯示出微調後的OpenVLA政策超越了預訓練的替代品，尤其是在將語言指令轉換為涉及多種物體的多任務行為時。OpenVLA在所有測試任務中成功率超過50%，成為各種場景下模仿學習的可靠選擇。

為了提升可及性和效率，團隊採用了低秩適應（LoRA）進行微調，實現了在單個A100 GPU上於10至15小時內進行特定任務的調整，顯著降低了計算需求。模型量化進一步減少了模型大小，使其能夠在消費級GPU上部署而不影響性能。

開源OpenVLA

研究人員已將完整的OpenVLA模型開源，並提供部署和微調的筆記本及可擴展的VLA訓練代碼。他們預期這些資源將刺激對VLA在機器人技術中進一步探索和適應的興趣。這一庫支持在單一GPU上進行微調，並能夠在多節點GPU集群中協調十億參數的VLA訓練，符合當前的優化和並行技術。

OpenVLA的未來發展旨在整合多個圖像和本體感知輸入，以及觀察歷史。此外，利用在交錯的圖像和文本數據上進行預訓練的VLMs將可能提升VLA微調的靈活性。

隨著OpenVLA的出現，機器人技術社群正處於顯著進步的邊緣，使VLA模型在多元應用中更加可及和可適應。

Decagon 揭幕「人類般」的 AI 代理商，從隱形模式中革新企業客戶支持服務。

Augie Studio：為行銷人員和企業帶來AI影片製作的革命，類似Canva

Most people like

ContentBot - AI Content Automation and Workflows

88K

ContentBot 是一款尖端的人工智慧工具，旨在通過自動化和優化整個內容創作過程，徹底改變市場營銷人員的工作方式。這一創新解決方案幫助專業人士節省時間，提高工作效率，同時有效生成高品質且引人入勝的內容。

AI內容自動化 AI Content Generator

MakeUGC

10.8K

介紹一個創新的人工智慧平台，專為快速創建用戶生成的內容影片而設計。只需幾分鐘便能將您的想法轉化為引人入勝的影片，簡化個人和品牌的內容創作流程。無論您是社交媒體影響者還是企業擁有者，我們的平台使您能輕鬆製作出吸引觀眾的高品質影片。今天就來探索影片創作的未來！

AI 視頻生成 AI Advertising Assistant

Kardome

9.1K

即時語音指令輸入與音頻播放。

VUI 設計 AI Voice Assistants

Frederick AI

12K

驗證您的創業想法並制定以人工智慧為驅動的商業計劃在當今競爭激烈的環境中，確保您的創業想法能引起共鳴對於成功至關重要。利用創新的人工智慧工具，您可以高效地驗證您的概念並制定一個全面而突出的商業計劃。

初創公司 AI Business Ideas Generator

Find AI tools in YBX