Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Ctrl-World: A Controllable Generative World Model for Robot Manipulation

作者: Yanjiang Guo, Lucy Xiaoyang Shi, Jianyu Chen, Chelsea Finn · ICLR 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

我們提出一個用於機器人操作的可控世界模型,可同時用於策略評估與策略改進。

為何重要

可控的世界模型讓人不需真實推演就能嚴謹地評估策略,解決了 VLA 評估流程中長期存在的瓶頸。

問題

在新物體與新指令上評估與改進通用機器人策略,不是需要大量真實推演(緩慢又昂貴),就是需要專家標註的修正資料(同樣昂貴)。生成式世界模型原則上可以取代真實推演,但現有的世界模型缺乏所需的可控性:多視角預測、精細的動作條件,以及在長時程多步驟互動中的一致性。

提出的方法

Ctrl-World 是一個可控的多視角生成式世界模型,設計上與現代通用策略相容。它支援多視角預測、精細的低階動作控制,以及一致的長時程互動。模型經過訓練,可同時用於策略評估(取代真實推演)與策略改進(為策略產生合成監督)。

關鍵見解

  • 可控性(多視角、精細的動作條件與長時程一致性)是把世界模型當作策略基礎的瓶頸。
  • 以單一世界模型同時用於評估與改進,比分別維護評估與訓練流程更有效率。
  • 多視角預測對於與使用多路攝影機串流的現代通用 VLA 策略相容至關重要。
  • 長時程一致性來自架構與訓練目標,而不只是來自規模。

主要結果

  • Ctrl-World 展示了在不熟悉的物體上、無需真實世界推演的嚴謹策略評估。
  • 以 Ctrl-World 推演改進的策略,在真實機器人上顯示出可量測的提升。
  • 這個世界模型處理多步驟互動時,具備先前生成式模型所缺乏的一致性。
  • 與現成的通用 VLA 策略相容,不需要為了相容而重新訓練策略。

限制

  • 工作坊論文的範圍:物體與任務的多樣性受限於訓練資料。
  • 生成式世界模型在精細物理上仍會產生幻覺;罕見的接觸事件最困難。
  • 對於對抗性或分布外的場景,評估保真度與真實世界推演之間的落差依然存在。

對領域的影響

Ctrl-World 是最早真正可以作為策略改進基礎、而不只是評估工具的生成式世界模型之一。它與 VLA 研究脈絡相輔相成:每個可控的世界模型,都能為與之搭配的策略同時帶來更快的評估,以及基於合成資料的改進。

摘要

通用機器人策略如今已能執行廣泛的操作技能,但評估與改進它們處理不熟悉物體和指令的能力,仍是一大挑戰。嚴謹的評估需要大量真實世界推演,而系統性的改進則需要新的訓練資料。我們提出 Ctrl-World,一個模擬機器人與環境互動的可控生成式世界模型,能同時實現高效的策略評估,以及用於策略改進的合成資料生成。

連結

  • arXiv 2510.10125: https://arxiv.org/abs/2510.10125
  • DOI 10.48550/arXiv.2510.10125: https://doi.org/10.48550/arXiv.2510.10125
  • PDF: https://arxiv.org/pdf/2510.10125
  • 專案頁面: https://openreview.net/forum?id=v7hqqBLosx

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。