Self-Improving Vision-Language-Action Models with Data Generation via Residual RL
作者: Wenli Xiao, Haotian Lin, Andy Peng, Haoru Xue, Tairan He, Yuqi Xie, Fengyuan Hu, Jimmy Wu, Zhengyi Luo, Linxi "Jim" Fan, Guanya Shi, Yuke Zhu · arXiv preprint 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
PLD 以 VLA 機器人策略自己產生的資料來改進它:小型殘差強化學習策略學習修正 VLA 的失敗,其軌跡被用來微調 VLA,不需要額外的人類示範。
為何重要
微調 VLA 模型通常需要昂貴的人類遙控操作資料。這篇論文證明,額外的資料可以改由強化學習產生,只需極少人力。在其測試中,這些強化學習資料在多數任務上帶來的成功率高於額外的人類資料。在長時間跨度的任務上,它仍不及人類資料。
問題
監督式微調 (SFT) 是調整 VLA 模型的標準做法,但它仰賴昂貴的人類示範。人類遙控操作資料是在已部署策略之外蒐集的,因此很少涵蓋策略實際到達的狀態。強化學習可以改為產生資料,但稀疏獎勵讓它不穩定且樣本效率低。與通用策略分開訓練的強化學習專家,產生的資料也與其行為不相符,而且缺乏多樣性。
提出的方法
Probe, Learn, Distill(PLD)是一個三階段框架。(1)專家習得:凍結 VLA 骨幹網路,並透過離策略強化學習訓練輕量的殘差演員,這些專家在失敗區域接手。(2)感知分布的資料蒐集:使用混合推演方案,讓殘差介入集中在基礎 VLA 實際會造訪的狀態周圍,同時仍能捕捉恢復軌跡。(3)透過標準的 SFT,將精選的軌跡蒸餾回通用模型。可隨插即用於現有的 VLA。
關鍵見解
- 讓 VLA 先行動、殘差策略稍後接手,可讓蒐集到的資料貼近 VLA 自身的行為。作者認為這能讓微調遺忘得更少。
- 純強化學習專家的資料是最佳的,但範圍狹窄,且與基礎策略的行為相去甚遠。來自基礎策略自身成功試行的資料表現較差,也無法泛化到未見過的任務。
- PLD 資料在 LIBERO-90 上取得最佳的分布內成功率,同時對未見任務的零樣本轉移與人類資料大致相當。
- 更多的探測只在一定程度內有幫助:當 VLA 在交接前執行回合的至多 60%(α = 0.6)時,效能趨於平穩,超過後則下降。
- 以 Cal-QL 在 50 條成功的基礎策略軌跡上預訓練評論者效果最好。CQL 效果最差,並出現嚴重遺忘。
主要結果
- LIBERO(模擬):以 PLD 資料微調後,π0 的平均成功率從 93.4% 升到 97.2%,OpenVLA 從 91.8% 升到 99.2%(表 1)。
- SimplerEnv(模擬):Octo 的平均成功率從 71.8% 升到 96.6%。提升最大的是 WidowX Pick Carrot,提高 +50.6 個百分點,從 43.3% 升到 93.9%(表 2)。
- 真實 Franka 機械手臂:以 PLD 資料微調後,π0 在插銷與拾取方塊上都達到 30/30 成功。使用額外人類資料時,拾取方塊為 10/30,使用 RLPD 資料時為 16/30。
- 真實且未見過的雜亂場景 (Franka):PLD 資料在拾取藍色方塊上為 28/30,拾取紅色方塊為 20/30,人類資料則為 12/30 與 10/30。
- 兩台真實 YAM 機械手臂:每個子任務至多 8 小時強化學習後,一個蒸餾後的策略在無人協助下連續執行 GPU 插入與拔除循環至少 1 小時。
- LIBERO-90 未見任務:只在 10% 的任務上訓練時,π0 在未見任務上的成功率以 PLD 資料為 24.4%,以人類資料為 21.4%,以基礎策略試行資料為 5.6%。
限制
- 長時間跨度的轉移:在 LIBERO-10 上,PLD 資料勝過基礎策略試行資料,但「仍不及以人類專家示範所達到的效能」。
- PLD 需要一個已經能偶爾成功的基礎策略。在真實世界測試中,π0 先以 200 條遙控操作軌跡微調。
- 在真實世界中,每項任務都需要一個二元獎勵分類器,以少量人工蒐集的成功與失敗狀態訓練。在插銷任務中,需要有人移動孔的位置以增加多樣性。
- 殘差動作的尺度「需要仔細調整」。尺度太大會讓早期探索不穩定,太小則會限制最終效能。PLD 在強化學習期間也會出現初期的效能下降。
- 在 YAM GPU 插入任務上,「每個階段的一次成功率並非 100%」。循環之所以能持續運作,是因為系統能從失敗中恢復。
對領域的影響
PLD 證明,在 VLA 微調中,與基礎策略對齊的強化學習產生資料「可以超越僅靠遙控操作的示範」,在模擬與真實機械手臂上皆然。長時間跨度的任務是例外,人類資料在那裡仍然較好。作者稱它是「邁向自主、可擴展後訓練的務實一步」。他們把多本體轉移、在機器人上持續學習,以及受安全限制的資料蒐集列為未來的工作。
摘要
監督式微調(SFT)已成為大型視覺-語言-動作(VLA)模型事實上的後訓練策略,但它依賴昂貴的人類示範,限制了可擴展性與泛化能力。我們提出 Probe, Learn, Distill(PLD),一個透過自主資料生成來改進 VLA 的隨插即用框架:殘差強化學習策略探測失敗模式、學習修正,並將所得的軌跡蒸餾回基礎 VLA。
連結
- arXiv 2511.00091: https://arxiv.org/abs/2511.00091
- DOI 10.48550/arXiv.2511.00091: https://doi.org/10.48550/arXiv.2511.00091
- PDF: https://arxiv.org/pdf/2511.00091
- 專案頁面: https://openreview.net/forum?id=shqo2VPfc7