Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

作者: Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei · CVPR 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

PointWorld 以點流將狀態與動作統一在共享的 3D 空間中,將 3D 世界模型擴展到真實世界的機器人操作。

為何重要

為世界模型帶來 3D 結構,針對操作任務解決 2D 影片世界模型已知的弱點(幾何不一致)。

問題

多數用於機器人操作的學習型世界模型在 2D 像素空間中運作,難以維持幾何一致性與跨形態遷移。機器人操作本質上是 3D 問題:關節位置因形態而異,而像素會失去 3D 結構。要將世界模型擴展到真實環境中的操作,既需要 3D 表示,也需要大量多樣的資料。

提出的方法

PointWorld 是一個大型預訓練 3D 世界模型,以 3D 點流將狀態與動作統一在共享的 3D 空間中。給定一個或少數幾個 RGB-D 輸入與一連串低階動作指令,它預測回應動作的逐像素 3D 位移。以 3D 點流(而非關節位置)表示動作,直接以實體機器人的幾何為條件,並能跨形態學習。它在單臂 Franka 與一台雙臂人形機器人上的約 2M 條軌跡、500 小時資料上訓練。

關鍵見解

  • 3D 點流是與形態無關的動作表示:在關節空間動作無法泛化之處,它們能夠泛化。
  • 以 3D 結構(而非 2D 像素)為條件,大幅改善世界模型預測的幾何一致性。
  • 當動作表示位於 3D 而非組態空間時,跨形態訓練是可行的。
  • RGB-D 加上現代 3D 視覺工具,使得在數百萬條軌跡規模上結合真實與模擬資料成為可能。

主要結果

  • 擴展到兩種形態(Franka 手臂、雙臂人形機器人)上的約 2M 條軌跡、500 小時。
  • 在開放世界操作場景中,預測與給定動作序列一致的逐像素 3D 位移。
  • 跨形態泛化之所以有效,是因為動作在 3D 中,而不是在關節空間中。
  • 通用性足以作為策略評估基礎,無需針對各任務微調。

限制

  • 需要 RGB-D 輸入,尚未在只有 RGB 的設定上展示。
  • 工作坊論文的範圍:相較於世界模型本身的評估,下游策略改進的結果有限。
  • 在精細接觸上,尤其是可變形物體,模擬到現實(sim-to-real)的落差依然存在。

對領域的影響

PointWorld 是最早可信、能大規模用於真實環境操作的 3D 世界模型之一。透過在 3D 中統一狀態與動作,它直接解決了阻礙 2D 影片世界模型的幾何不一致問題,並為機器人領域與形態無關的基礎世界模型指出一條可行路徑。

摘要

人類只要看一眼並設想自己身體的一個動作,就能預料 3D 世界將如何回應,而這種能力對機器人操作同樣至關重要。我們提出 PointWorld,一個大型預訓練 3D 世界模型,以 3D 點流將狀態與動作統一在共享的 3D 空間中:給定目前的狀態與動作點流,它預測未來的狀態點流。PointWorld 在多樣的真實環境操作資料上訓練,可擴展到新的物體與任務。

連結

  • arXiv 2601.03782: https://arxiv.org/abs/2601.03782
  • DOI 10.48550/arXiv.2601.03782: https://doi.org/10.48550/arXiv.2601.03782
  • PDF: https://arxiv.org/pdf/2601.03782
  • 專案頁面: https://openreview.net/forum?id=65WDZ9Jw4B

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。