πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
作者: Kang Chen, Zhihao Liu, Tonghe Zhang, Zhen Guo, Si Xu, Hao Lin, Hongzhi Zang, Xiang Li, Quanlu Zhang, Zhaofei Yu, Guoliang Fan, Tiejun Huang, Yu Wang, Chao Yu · 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖片已標示來源。
一句話摘要
πRL 讓 π₀ 與 π₀.₅ 等以流為基礎的 VLA 模型能以線上強化學習進行微調;在模擬中,它將少樣本 π₀.₅ 在 LIBERO 上的成功率從 77.1% 提升到 98.3%。
為何重要
π₀ 與 π₀.₅ 建立在 flow matching 之上,標準的策略梯度強化學習無法訓練它們。πRL 在四個模擬基準中證明,線上強化學習可以將在少量示範上訓練的策略提升到完整資料集訓練的水準,甚至更高。
問題
π₀ 與 π₀.₅ 等以流為基礎的 VLA 透過反覆去噪產生動作,因此策略梯度強化學習所需的動作對數概似無法直接計算。這使得這些模型無法在監督式微調之外,再以線上強化學習加以改進。
提出的方法
πRL 提供兩種方法,讓去噪鏈能以強化學習訓練。Flow-Noise 加入可學習的雜訊網路,使去噪鏈成為具有精確對數概似的離散時間決策過程。Flow-SDE 將確定性取樣器改為隨機取樣器,並在兩層決策過程中把去噪與機器人和環境的互動結合起來,為強化學習提供所需的探索。策略在大量平行的模擬環境中以 PPO 訓練。
關鍵見解
- 以流為基礎的 VLA 缺少可計算的動作對數概似,而策略梯度強化學習需要它。
- 可學習的雜訊網路 (Flow-Noise) 讓去噪鏈成為具有精確對數概似的決策過程。
- 將取樣器改為隨機的 (Flow-SDE),在兩層決策過程中為強化學習提供所需的探索。
- 藉由線上強化學習,在少量示範上微調的策略在模擬中達到或超越在完整資料集上微調的效果。
主要結果
- 在 LIBERO(模擬)上,少樣本 π₀ 從 57.6% 提升到 97.6%,少樣本 π₀.₅ 從 77.1% 提升到 98.3%,高於在完整資料集上微調的 π₀.₅ 的 96.9%。
- 在四個模擬基準(LIBERO、ManiSkill、MetaWorld、CALVIN)上,取兩種方法中較好的一種,強化學習將少樣本 π₀ 的平均成功率從 51.1% 提升到 80.3%,將 π₀.₅ 從 55.6% 提升到 86.6%。
- 在 ManiSkill 上,於包含 4,352 種取放任務組合的多任務設定中,π₀.₅ 從 40.1% 提升到 90.9%。
- 在一項模擬到現實 (Sim-to-Real) 的案例研究中,在擬真模擬器中以強化學習訓練的策略零樣本執行於真實的 Franka 機械手臂,成功率為 40%,而僅用模仿學習的策略則失敗了。
限制
- 所有強化學習訓練都在模擬中進行:作者指出,線上強化學習的樣本效率還不足以在真實機器人上訓練。
- 真實機器人上的證據只有一項零樣本模擬到現實的案例研究,成功率為 40%。
- 提升幅度因基準而異:在 CALVIN 上,少樣本 π₀ 最好也只從 57.5% 提升到 61.7%。
對領域的影響
πRL 證明以流為基礎的 VLA 能在模擬中以線上強化學習進行大規模微調,並提出兩種可供他人延伸的方法:Flow-Noise 與 Flow-SDE。
摘要
VLA(視覺-語言-動作)模型讓機器人能根據多模態輸入理解並執行複雜任務。儘管近期研究探索以強化學習 (RL) 自動化擴大監督式微調 (SFT) 時繁重的資料蒐集流程,但由於 flow matching 帶來難以計算的動作對數概似,將 RL 應用於大規模以流為基礎的 VLA(例如 π₀、π₀.₅)仍然充滿挑戰。我們以 πRL 因應這項挑戰,它包含兩種技術方法:(1) Flow-Noise 將去噪過程建模為離散時間 MDP,並加入可學習的雜訊網路,以精確計算對數概似。(2) Flow-SDE 將去噪與代理-環境互動整合,建構兩層 MDP,並採用 ODE 到 SDE 的轉換,以進行有效率的 RL 探索。我們在多個基準上評估 πRL,實驗顯示 RL 在分布內與分布外的設定中都帶來顯著的效能提升。
連結
- arXiv 2510.25889: https://arxiv.org/abs/2510.25889
- PDF: https://arxiv.org/pdf/2510.25889