Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

作者: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025

ICLR 2025

许可协议

  • 开放获取
  • 论文: arXiv.org perpetual, non-exclusive license 1.0

根据 arXiv 的许可协议,以下内容仅依据摘要撰写。

摘要

双臂操作在机器人领域至关重要,但开发其基础模型极具挑战性,原因在于协调两条机械臂本身的复杂性(会导致多峰的动作分布)以及训练数据的稀缺。在本文中,我们提出 Robotics Diffusion Transformer(RDT),一个开创性的双臂操作扩散基础模型。RDT 以扩散模型为基础,有效表示多峰性,并通过可扩展 Transformer 的创新设计,处理多模态输入的异构性,捕捉机器人数据的非线性和高频特性。为解决数据稀缺问题,我们进一步引入物理可解释的统一动作空间(Physically Interpretable Unified Action Space),它能统一各种机器人的动作表示,同时保留原始动作的物理含义,有助于学习可迁移的物理知识。借助这些设计,我们在迄今最大的多机器人数据集合上预训练了 RDT,并将其扩展到 12 亿参数,这是用于机器人操作的最大的基于扩散的基础模型。最后,我们在自建的多任务双臂数据集上对 RDT 进行微调,该数据集包含超过 6000 个回合,以提升其操作能力。真实机器人上的实验表明,RDT 明显优于现有方法。它能零样本泛化到未见过的物体和场景,理解并遵循语言指令,只需 1~5 次示范就能学会新技能,并能有效完成复杂的灵巧任务。代码和视频请见 https://rdt-robotics.github.io/rdt-robotics/ 。

链接

  • arXiv 2410.07864: https://arxiv.org/abs/2410.07864
  • PDF: https://arxiv.org/pdf/2410.07864
  • 项目主页: https://rdt-robotics.github.io/rdt-robotics/

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。