Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

作者: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

一個約 4B 的 VLA 分五個階段訓練(網路資料、多機器人預訓練、機器人調校、RL),透過共享的 64 槽位動作空間控制人形、雙臂與單臂機器人。

為何重要

論文提供混合異質機器人資料集的具體、可重複使用的做法:加遮罩的統一動作槽位、以光流為基礎的速度對齊、用來為資料集加權的品質指標,以及從均勻分布開始的取樣排程。其 RL 階段在不將 RL 梯度反向傳播到基礎模型的情況下改善 flow matching 策略,且同一檢查點系列在一台真實人形機器人、一台真實雙臂協作機器人與兩個模擬基準上接受評估。

問題

機器人資料集在觀測配置、動作空間與取樣率上各不相同,品質也參差不齊,從抖動的軌跡到模糊的畫面都有。把所有動作填進一個向量,會讓多機器人策略對互不相容的目標取平均,而單靠行為複製在長時域、接觸豐富的任務上會達到飽和。以思維鏈進行規劃的重推理 VLA 會增加即時控制無法承受的延遲。

提出的方法

訓練分階段進行:以 PaliGemma (3B) 為基礎,在 24M 個樣本上進行網路多模態接地(L1),在約 3,000 小時的多機器人資料上預訓練(R0),針對特定形態微調(R1),以及 RL 對齊(R2):以 Q 函數改善資料,並為 flow matching 動作專家學習一個雜訊 actor。DataQA 管線依抖動、清晰度、多樣性與狀態變異數過濾回合,以光流為基礎的重新取樣讓各資料集的運動速度一致,而帶有形態提示的遮罩式 64 維統一動作空間取代了補零填充。推論時,策略預測回合進度,高斯混合 OOD 偵測器將狀態推回訓練分布,聯合預測模組則將 VLM 指出的 2D 目標提升到 3D,並引導 flow matching 朝向它。

關鍵見解

  • 將異質動作補零填成一個向量,會在未使用的維度上產生虛假的損失;依固定的語意配置對損失加遮罩即可消除,並讓一個策略同時保有關節空間與笛卡兒空間的語意。
  • 讓資料集混合比例從均勻開始、再逐步移向目標權重,可避免大型資料集主導高動量最佳化器而淹沒稀有的形態。
  • 利用機器人的左右對稱性鏡射回合,並將可逆技能做時間反轉,把 48 小時的人形機器人錄製資料擴充為 167 小時的有效訓練時數。
  • 將 flow matching 取樣器引導向一個以語言接地的 3D 目標點,使精確品項的拾取表現遠遠超過策略本身所能達到的。
  • 以 Q 梯度編輯軌跡或學習來源雜訊分布的 RL 對齊,可提升成功率,同時基礎模型的權重不受 RL 梯度影響。

主要結果

  • 真實 AgileX Cobot Magic 清理桌面任務,未經微調的 R0 檢查點對比微調 20,000 次迭代的基準:第一件成功率 69.5%,而 AgiBot GO-1 為 38.4%、π0 為 35.6%;平均清理時間 1m35s,而 π0 為 2m59s。
  • Simpler Google Robot 整體平均:60.2(R0)、61.3(R1)與 71.8(R2),相較於微調後的 π0 為 56.8、RT-1-X 為 46.5、OpenVLA 為 33.8。
  • Simpler WidowX 平均成功率:45.0(R0)、55.2(R1)與 79.1(R2),相較於 DB-MemVLA 為 73.2、微調後的 π0 為 27.1;正文給出 R1 到 R2 的提升為絕對值 24%。
  • CALVIN ABC→D 平均鏈長:π0 R1 為 3.6、Green-VLA R1 為 4.18、Flower R1 為 4.53、Green-VLA R2 為 4.63。
  • 電商貨架揀貨:聯合預測引導將 top-1 成功率從 62.3% 提升到 95.4%(品牌層級)、從 36.7% 提升到 93.1%(精確 SKU)、從 10.2% 提升到 72.8%(未見過的 SKU)。
  • Green 人形機器人的指令遵循成功率(如 Fig. 12 所繪):拾取 98%、放入籃子 100%、從籃子拾取 77%、交給使用者 99%、交接 84%、完整清理桌面 87%,平均 90%。

限制

  • 作者表示,效能仍取決於重定向的保真度、殘留的資料集偏差,以及對靈巧技能的充分涵蓋。
  • 軌跡最佳化 RL 步驟不保證能改善軌跡,因此每一條最佳化後的軌跡在加入資料前,都要由操作員重置場景並重新執行來驗證。
  • 在 CALVIN 上,R1 模型(ACL 4.18)落後於 Flower R1(4.53),且此基準未使用統一動作空間;R2 達到 4.63。
  • Flower、OpenVLA 與 RT-1-X 的 Simpler 數字取自已發表的報告,並未重新執行,而人形機器人結果以百分比呈現、沒有回合數;Fig. 12 的圖說提到領域內與領域外設定,但圖中只顯示一個序列。
  • R0 清理桌面比較是將未經調校的 Green-VLA 與在任務資料上微調過的基準相比,而輕量級推理模組與多語言指令則留待未來工作。

對領域的影響

Hugging Face 每日論文:311 個讚,名列該平台過去六個月機器人論文的前 5%。論文附有程式碼儲存庫與專案頁面的連結。

摘要

我們提出 Green-VLA,一個分階段的視覺-語言-動作框架,用於在人形機器人 Green 上進行真實世界部署,同時在多種形態之間維持泛化能力。Green-VLA 依循五階段課程:(L0) 基礎 VLM、(L1) 多模態接地、(R0) 多形態預訓練、(R1) 特定形態調適,以及 (R2) 以 RL 為基礎的策略對齊。逐級推進建立語意與物理先驗、學習共享的可供性(affordance),並對齊策略,以達成超越行為複製的長時域執行。其核心是一套為機器人車隊打造的統一資料與控制堆疊。一條可擴展的資料處理管線(包括 DataQA 與時間對齊)對 3,000 小時的示範進行過濾與同步;一個統一、能感知形態的動作介面,讓單一策略能控制人形機器人、移動式操作機器人與固定底座的機器手臂;VLA 控制器則加入了回合進度預測、分布外偵測,以及一個能泛化到未見物體、以聯合預測為基礎的引導模組。Green-VLA 針對 Green 人形機器人最佳化,能以零樣本方式泛化到新形態,並在雙臂系統與各基準上達到最先進的效能,其中 RL 對齊在成功率、強健性與長時域效率上帶來提升。

連結

  • arXiv 2602.00919: https://arxiv.org/abs/2602.00919
  • PDF: https://arxiv.org/pdf/2602.00919v1
  • 程式碼: https://github.com/greenvla/GreenVLA
  • 專案頁面: https://greenvla.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。