Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

World Action Models are Zero-shot Policies

作者: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Bjorck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi "Jim" Fan, Joel Jang · CoRL 2026

CoRL 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

影片擴散骨幹網路同時預測未來影格與動作:泛化能力比 VLA 好 2 倍,只需 30 分鐘的遊玩資料就能適應新的機器人形態。

為何重要

DreamZero 代表影片生成與機器人學習的匯流,證明建立在影片擴散基礎上的世界模型可以作為零樣本機器人策略,在泛化上超越 VLA 範式。

問題

VLA 模型直接將觀測對應到動作,但難以泛化到新的任務與環境。需要一種更豐富的世界表示。

提出的方法

在預訓練的影片擴散骨幹網路上建立 World Action Model,同時預測未來的影片影格與機器人動作,以影片作為物理動力學的稠密表示,實現零樣本策略轉移。

關鍵見解

  • 影片生成模型編碼了豐富的物理世界動力學,可用於機器人控制
  • 在泛化上,聯合的影片-動作預測勝過直接將觀測對應到動作(VLA)
  • 只需來自其他機器人或人類的 10-20 分鐘示範資料,跨形態轉移就能運作
  • 14B 參數的自迴歸模型以 7Hz 執行即時閉迴路控制

主要結果

  • 與最先進的 VLA 相比,對新任務的泛化提升 2 倍以上
  • 14B 參數的模型以 7Hz 執行即時閉迴路控制
  • 以 10-20 分鐘的跨形態示範,在未見過的任務上提升 42%+
  • 只需 30 分鐘的遊玩資料就能轉移到新的機器人形態

限制

  • 需要大型的預訓練影片擴散模型作為骨幹網路,訓練需要大量運算資源
  • 非常新(2026 年 2 月),目前獨立的重現研究有限
  • 7Hz 的即時推論對於高頻控制任務而言可能仍然太慢

對領域的影響

DreamZero 代表影片生成與機器人學習這兩個原本各自獨立的領域的匯流。它在預訓練的影片擴散模型之上建立機器人策略,意味著對影片 AI 的大量投資可以直接轉移到機器人學。這可能讓 VLA 範式在泛化任務上變得過時,並重塑機器人基礎模型的打造方式。

摘要

DreamZero 提出 World Action Models(WAM),這類模型建立在預訓練的影片擴散骨幹網路上,同時預測未來的影片影格與機器人動作。DreamZero 不採用 VLA 那種直接將觀測對應到動作的做法,而是以影片作為世界如何演變的稠密表示,在預測動作的同時學習物理動力學。與最先進的 VLA 相比,它在泛化上提升了 2 倍以上。

連結

  • arXiv 2602.15922: https://arxiv.org/abs/2602.15922
  • PDF: https://arxiv.org/pdf/2602.15922
  • 程式碼: https://github.com/dreamzero0/dreamzero
  • 專案頁面: https://dreamzero0.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。