Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

作者: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025

ICLR 2025

授權條款

  • 開放取用
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

依 arXiv 的授權條款,以下內容僅依據摘要撰寫。

摘要

雙臂操作在機器人領域至關重要,但要開發其基礎模型極具挑戰,原因在於協調兩支機器手臂本身的複雜性(會導致多峰的動作分布)以及訓練資料的稀少。在本文中,我們提出 Robotics Diffusion Transformer(RDT),一個開創性的雙臂操作擴散基礎模型。RDT 以擴散模型為基礎,有效表示多峰性,並透過可擴展 Transformer 的創新設計,處理多模態輸入的異質性,並捕捉機器人資料的非線性與高頻特性。為了解決資料稀少的問題,我們進一步提出物理可解釋的統一動作空間(Physically Interpretable Unified Action Space),能統一各種機器人的動作表示,同時保留原始動作的物理意義,有助於學習可遷移的物理知識。透過這些設計,我們在迄今最大的多機器人資料集合上預訓練 RDT,並將它擴展到 12 億參數,這是用於機器人操作、規模最大的擴散式基礎模型。最後,我們在自行建立、包含超過 6,000 個回合的多任務雙臂資料集上微調 RDT,以提升其操作能力。在真實機器人上的實驗顯示,RDT 明顯優於現有方法。它能零樣本泛化到沒見過的物件與場景,理解並遵循語言指令,只需 1~5 次示範就能學會新技能,並能有效處理複雜的靈巧任務。程式碼與影片請見 https://rdt-robotics.github.io/rdt-robotics/ 。

連結

  • arXiv 2410.07864: https://arxiv.org/abs/2410.07864
  • PDF: https://arxiv.org/pdf/2410.07864
  • 專案頁面: https://rdt-robotics.github.io/rdt-robotics/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。