RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
作者: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
摘要
雙臂操作在機器人領域至關重要,但要開發其基礎模型極具挑戰,原因在於協調兩支機器手臂本身的複雜性(會導致多峰的動作分布)以及訓練資料的稀少。在本文中,我們提出 Robotics Diffusion Transformer(RDT),一個開創性的雙臂操作擴散基礎模型。RDT 以擴散模型為基礎,有效表示多峰性,並透過可擴展 Transformer 的創新設計,處理多模態輸入的異質性,並捕捉機器人資料的非線性與高頻特性。為了解決資料稀少的問題,我們進一步提出物理可解釋的統一動作空間(Physically Interpretable Unified Action Space),能統一各種機器人的動作表示,同時保留原始動作的物理意義,有助於學習可遷移的物理知識。透過這些設計,我們在迄今最大的多機器人資料集合上預訓練 RDT,並將它擴展到 12 億參數,這是用於機器人操作、規模最大的擴散式基礎模型。最後,我們在自行建立、包含超過 6,000 個回合的多任務雙臂資料集上微調 RDT,以提升其操作能力。在真實機器人上的實驗顯示,RDT 明顯優於現有方法。它能零樣本泛化到沒見過的物件與場景,理解並遵循語言指令,只需 1~5 次示範就能學會新技能,並能有效處理複雜的靈巧任務。程式碼與影片請見 https://rdt-robotics.github.io/rdt-robotics/ 。
連結
- arXiv 2410.07864: https://arxiv.org/abs/2410.07864
- PDF: https://arxiv.org/pdf/2410.07864
- 專案頁面: https://rdt-robotics.github.io/rdt-robotics/