RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
Autores: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025
Licenças
- Acesso aberto
- Artigo: arXiv.org perpetual, non-exclusive license 1.0
Conforme a licença do arXiv, tudo o que segue foi escrito apenas a partir do resumo.
Resumo
A manipulação bimanual é essencial na robótica, mas desenvolver modelos de base é extremamente desafiador devido à complexidade inerente de coordenar dois braços robóticos (o que leva a distribuições de ação multimodais) e à escassez de dados de treinamento. Neste artigo, apresentamos o Robotics Diffusion Transformer (RDT), um modelo de base de difusão pioneiro para manipulação bimanual. O RDT se apoia em modelos de difusão para representar com eficácia a multimodalidade, com projetos inovadores de um transformador escalável para lidar com a heterogeneidade das entradas multimodais e capturar a não linearidade e a alta frequência dos dados robóticos. Para enfrentar a escassez de dados, introduzimos ainda um Espaço de Ação Unificado Fisicamente Interpretável, que pode unificar as representações de ação de diversos robôs preservando os significados físicos das ações originais, facilitando o aprendizado de conhecimento físico transferível. Com esses projetos, conseguimos pré-treinar o RDT na maior coleção de conjuntos de dados de múltiplos robôs até hoje e escalá-lo para 1,2 bilhão de parâmetros, o maior modelo de base baseado em difusão para manipulação robótica. Por fim, fizemos o ajuste fino do RDT em um conjunto de dados bimanual multitarefa criado por nós, com mais de 6.000 episódios, para refinar suas capacidades de manipulação. Experimentos com robôs reais demonstram que o RDT supera significativamente os métodos existentes. Ele apresenta generalização zero-shot para objetos e cenas não vistos, entende e segue instruções em linguagem natural, aprende novas habilidades com apenas 1~5 demonstrações e lida com eficácia com tarefas complexas que exigem destreza. Consulte https://rdt-robotics.github.io/rdt-robotics/ para o código e os vídeos.
Links
- arXiv 2410.07864: https://arxiv.org/abs/2410.07864
- PDF: https://arxiv.org/pdf/2410.07864
- Página do projeto: https://rdt-robotics.github.io/rdt-robotics/