Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

作者: Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, Huazhe Xu · RSS 2024

RSS 2024

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

一種以 3D 點雲為基礎的擴散策略,能在視角、物件與空間配置之間泛化,只用 40 個示範就在真實世界達到 85% 的成功率。

為何重要

DP3 提供了迄今最清楚的證據,說明 3D 表示是通往可泛化機器人策略的實用路徑。它證明簡單的點雲加上擴散,就能以極少的示範帶來強大的視角與實例泛化,有力地支持以 3D 為優先的策略學習,而非主流的 2D 影像範式。

問題

以 2D 影像為基礎的模仿學習策略缺乏明確的 3D 空間理解,因此難以在視角變化、空間重新排列與新的物件實例之間泛化。這限制了它們在非結構化真實世界環境中的實際部署。

提出的方法

DP3 透過精簡的 3D 編碼器處理稀疏點雲,產生與視角無關的空間特徵,再以這些特徵作為擴散模型生成動作的條件。這種將 3D 表示與擴散策略簡單結合的做法,不需要複雜的架構或大型資料集,就能帶來強大的泛化能力。

關鍵見解

  • 精簡的 3D 點雲表示提供與生俱來的視角不變性,這是以 2D 影像為基礎的策略根本上所欠缺的
  • 經高效編碼器處理的稀疏點雲就足以用於操作,完整的稠密 3D 重建是不必要的額外負擔
  • 以擴散為基礎的動作生成,比確定性迴歸或簡單的高斯策略更能處理操作的多峰性
  • 只需 10-40 個示範就能有強勁表現,使這種方法能實際用於真實世界部署
  • 3D 表示提供對場景幾何準確的空間理解,自然減少安全違規

主要結果

  • 在 72 項模擬任務中,每項只用 10 個示範,比基準方法相對提升 24.2%
  • 在真實世界實驗中,每項任務只用 40 個示範就達到 85% 的成功率
  • 在空間、視角、外觀與實例變化上展現強大的泛化能力
  • 與 2D 基準方法相比,安全違規明顯較少
  • 搭配精簡的點雲編碼器,效率足以進行即時控制

限制

  • 需要深度感測硬體(RGB-D 攝影機或光達(LiDAR)),增加機器人配置的成本與複雜度
  • 在透明物體、反光表面或光線不佳等困難條件下,點雲品質會下降
  • 稀疏點雲表示可能遺失非常精密的操作所需的細微幾何細節
  • 評估主要在桌面操作上進行,尚未證明能擴展到更大規模的任務

對領域的影響

DP3 正推動領域轉向具 3D 感知的策略學習。它證明精簡的點雲就能為操作提供足夠的幾何理解,正在影響社群設計觀測空間的方式,走出長期主導模仿學習的純 2D 影像範式。

摘要

模仿學習方法通常依賴 2D 影像觀測,這限制了它們在視角變化、空間變化與不同物件實例之間泛化的能力。我們提出 3D Diffusion Policy(DP3),它結合由稀疏點雲經高效編碼器處理而得的精簡 3D 視覺表示,以及以擴散為基礎的動作生成。在橫跨 72 項任務的模擬測試中,DP3 在每項任務只有 10 個示範的情況下,比基準方法相對提升 24.2%。真實世界的機器人實驗在每項任務 40 個示範下達到 85% 的成功率,並展現出在空間、視角、外觀與實例變化上的泛化能力。值得注意的是,與基準方法相比,這種方法很少觸發安全違規。我們公開釋出影片、程式碼與資料。

連結

  • arXiv 2403.03954: https://arxiv.org/abs/2403.03954
  • PDF: https://arxiv.org/pdf/2403.03954.pdf
  • 程式碼: https://github.com/YanjieZe/3D-Diffusion-Policy
  • 專案頁面: https://3d-diffusion-policy.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。