Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

OpenVLA: An Open-Source Vision-Language-Action Model

作者: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, Chelsea Finn · CoRL 2024

CoRL 2024

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

第一個在 970k 次機器人示範上訓練的開放原始碼 7B VLA 模型,比封閉的 55B RT-2-X 高出 16.5%,同時小了 7 倍,且可在消費級 GPU 上微調。

為何重要

OpenVLA 讓最先進的機器人學習走向普及。團隊只需一張消費級 GPU,就能在自己的特定任務上微調一個強大的預訓練模型,而不必從零訓練或為封閉的 API 付費。

問題

現有的視覺語言動作模型是閉源且無法取得的,而且沒有既定的方法能為新的機器人任務高效微調 VLA,這些都是阻礙基礎模型在機器人領域廣泛採用的關鍵障礙。

提出的方法

OpenVLA 結合 Llama 2 與 DINOv2、SigLIP 視覺編碼器,在 970k 次多樣的機器人示範上訓練。它支援在消費級 GPU 上透過 LoRA 高效微調,並可量化部署而不損失效能。

關鍵見解

  • 透過更好的資料多樣性,開放原始碼 VLA 只用 7B 參數就能追平或超越封閉的 55B 模型
  • 透過 LoRA 在消費級 GPU 上微調 VLA 是可行的,讓小團隊也能採用
  • 模型比 Diffusion Policy 高出 20.4%,顯示預訓練的價值
  • 量化能實現高效部署,而不影響任務成功率

主要結果

  • 在 29 項任務上,絕對成功率比 RT-2-X(55B)高出 16.5%,參數少了 7 倍
  • 在具有強大語言基礎能力的多任務環境中,勝過 Diffusion Policy 20.4%
  • 成功使用 LoRA 適應方法在消費級 GPU 上微調
  • 量化以進行高效推論時仍維持效能
  • 微調後對新物體與新場景具有強大的泛化能力

限制

  • 與較小的策略相比,7B 參數在推論時仍需要大量運算
  • 主要以桌面操作資料訓練,對其他領域的涵蓋較少
  • 微調仍需要收集機器人示範資料
  • 繼承自 Llama 2 的語言基礎能力可能帶有偏誤

對領域的影響

OpenVLA 讓機器人領域的基礎模型走向普及。過去只有資金充裕的實驗室才能使用強大的 VLA 模型。如今任何團隊都能在消費級硬體上微調最先進的模型,有望加速從製造業到居家協助等各產業的機器人部署。

摘要

在網際網路規模的視覺語言資料與多樣機器人示範組合上預訓練的大型策略,有潛力改變我們教導機器人新技能的方式:與其從零訓練新行為,我們可以微調這類視覺語言動作(VLA)模型,取得用於視覺運動控制、穩健且可泛化的策略。然而,VLA 在機器人領域的廣泛採用一直很困難,因為 1) 現有的 VLA 大多是封閉的,大眾無法取得;2) 先前的工作沒有探索為新任務高效微調 VLA 的方法,而這是採用的關鍵。為了應對這些挑戰,我們提出 OpenVLA,一個 7B 參數的開放原始碼 VLA,在 970k 次多樣的真實世界機器人示範上訓練。OpenVLA 建立在 Llama 2 語言模型之上,並結合一個融合 DINOv2 與 SigLIP 預訓練特徵的視覺編碼器。得益於增加的資料多樣性與新的模型元件,OpenVLA 在通用操作上展現強勁的結果,在 29 項任務與多種機器人形態上,絕對任務成功率比 RT-2-X(55B)等封閉模型高出 16.5%,而參數少了 7 倍。我們進一步證明,可以有效地將 OpenVLA 微調到新的設定,在涉及多個物體的多任務環境中展現特別強的泛化結果與強大的語言基礎能力,並比 Diffusion Policy 等表達力強、從零訓練的模仿學習方法高出 20.4%。我們也探討了運算效率;作為另一項貢獻,我們證明 OpenVLA 可以透過現代低秩適應方法在消費級 GPU 上微調,並透過量化高效提供服務,而不影響下游成功率。最後,我們釋出模型檢查點、微調筆記本,以及內建支援在 Open X-Embodiment 資料集上大規模訓練 VLA 的 PyTorch 程式碼庫。

連結

  • arXiv 2406.09246: https://arxiv.org/abs/2406.09246
  • PDF: https://arxiv.org/pdf/2406.09246.pdf
  • 程式碼: https://github.com/openvla/openvla
  • 專案頁面: https://openvla.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。