VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model
作者: Yanjiang Guo, Tony Lee, Lucy Xiaoyang Shi, Jianyu Chen, Percy Liang, Chelsea Finn · ICML 2026
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
我們使用世界模型推演,提升視覺-語言-動作(VLA)模型在真實世界中的表現。
為何重要
將視覺-語言-動作(VLA)策略與學習而得的世界模型連結起來,處理一個關鍵瓶頸:為精修 VLA 而進行真實世界推演的高昂成本。
問題
視覺-語言-動作(VLA)模型可以透過線上策略推演來改進,但真實世界的推演既昂貴又緩慢。現有的學習型世界模型缺乏策略改進所需的物理保真度:它們通常以示範資料訓練,而示範資料中失敗案例的比例偏低,也遺漏了對操作很重要的細微接觸動態。
提出的方法
VLAW 交替進行:(1)蒐集有限的真實世界推演,用來微調以動作為條件的影片世界模型;(2)利用在改進後世界模型中的推演,為 VLA 產生合成監督。兩個模型共同改進:每一輪,策略都獲得新資料,世界模型則獲得更好的物理保真度,而不需要大量新的真實機器人資料蒐集。
關鍵見解
- 只以示範訓練的世界模型缺乏策略改進所需的物理保真度;它們也需要失敗資料。
- 策略與世界模型的迭代式共同改進,打破了兩者之間的自舉僵局。
- 當保真度夠好時,以動作為條件的影片生成模型可以取代真實世界的推演。
- 真實世界的推演仍然必須作為基準真值:迴圈是透過混合真實與合成資料而收斂。
主要結果
- 在真實機器人上,VLAW 不需擴大真實資料蒐集,就將基礎 VLA 的成功率提升到超越僅用 SFT 的基準方法。
- 世界模型的保真度(以真實推演衡量)隨著共同訓練迴圈的每一次迭代而提升。
- 由改進後世界模型生成的合成資料,能有意義地轉化為真實世界的策略提升。
- 這個方法與現成的 VLA 骨幹網路相容,不需要修改架構。
限制
- 每次迭代仍需要真實機器人推演;並非零樣本。
- 屬於研討會論文的範疇:所報告的任務與形態多樣性有限。
- 以動作為條件的影片模型品質,是合成資料訊號的瓶頸。
對領域的影響
VLAW 是機器人學中雙向策略↔世界模型共同訓練最乾淨的展示之一。它串起 VLA 與世界模型兩條研究路線,並指向一個未來:每一個部署的 VLA 都帶著一個專屬的學習型模擬器,隨著每一次互動變得更好。
摘要
本文的目標是透過迭代式的線上互動,提升視覺-語言-動作(VLA)模型的表現與可靠度。由於在真實世界中蒐集策略推演的成本很高,我們探討一個學習而得的模擬器,具體來說是一個以動作為條件的影片生成模型,能否在策略改進迴圈中取代真實世界的推演。我們提出 VLAW,一個在學到的世界模型中交替進行策略推演、價值學習與策略蒸餾的迭代框架,讓 VLA 與世界模型能隨時間共同改進。
連結
- arXiv 2602.12063: https://arxiv.org/abs/2602.12063
- DOI 10.48550/arXiv.2602.12063: https://doi.org/10.48550/arXiv.2602.12063
- PDF: https://arxiv.org/pdf/2602.12063
- 專案頁面: https://openreview.net/forum?id=Ro0eQ0ly3q