RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
저자: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
초록
양팔 조작은 로봇 공학에서 필수적이지만, 두 개의 로봇 암을 협응하는 데 내재된 복잡성(다봉 행동 분포로 이어짐)과 학습 데이터의 부족으로 인해 파운데이션 모델 개발은 매우 어렵습니다. 이 논문에서는 양팔 조작을 위한 선구적인 확산 파운데이션 모델인 Robotics Diffusion Transformer(RDT)를 제시합니다. RDT는 확산 모델을 기반으로 다봉성을 효과적으로 표현하며, 확장 가능한 트랜스포머의 혁신적인 설계로 멀티모달 입력의 이질성을 처리하고 로봇 데이터의 비선형성과 고주파 특성을 포착합니다. 데이터 부족 문제를 해결하기 위해, 원래 행동의 물리적 의미를 보존하면서 다양한 로봇의 행동 표현을 통합할 수 있는 물리적으로 해석 가능한 통합 행동 공간(Physically Interpretable Unified Action Space)을 추가로 도입하여, 전이 가능한 물리 지식의 학습을 돕습니다. 이러한 설계를 통해 지금까지 가장 큰 다중 로봇 데이터셋 모음으로 RDT를 사전 학습하고 1.2B 파라미터까지 확장했으며, 이는 로봇 조작을 위한 확산 기반 파운데이션 모델 중 가장 큰 규모입니다. 마지막으로 직접 구축한 6,000개 이상의 에피소드로 이루어진 멀티태스크 양팔 데이터셋으로 RDT를 미세 조정하여 조작 능력을 다듬었습니다. 실제 로봇 실험에서 RDT는 기존 방법을 크게 능가합니다. 처음 보는 객체와 장면에 대한 제로샷 일반화를 보이고, 언어 지시를 이해하고 따르며, 단 1~5개의 시연으로 새로운 기술을 학습하고, 복잡하고 정교한 작업을 효과적으로 처리합니다. 코드와 영상은 https://rdt-robotics.github.io/rdt-robotics/ 를 참고하십시오.
링크
- arXiv 2410.07864: https://arxiv.org/abs/2410.07864
- PDF: https://arxiv.org/pdf/2410.07864
- 프로젝트 페이지: https://rdt-robotics.github.io/rdt-robotics/