RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
Auteurs: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025
Licences
- Accès libre
- Article: arXiv.org perpetual, non-exclusive license 1.0
Selon la licence d'arXiv, tout ce qui suit est rédigé à partir du seul résumé.
Résumé
La manipulation bimanuelle est essentielle en robotique, mais développer des modèles de fondation est extrêmement difficile en raison de la complexité inhérente à la coordination de deux bras robotisés (qui conduit à des distributions d'actions multimodales) et de la rareté des données d'entraînement. Dans cet article, nous présentons le Robotics Diffusion Transformer (RDT), un modèle de fondation de diffusion pionnier pour la manipulation bimanuelle. RDT s'appuie sur les modèles de diffusion pour représenter efficacement la multimodalité, avec des conceptions innovantes d'un Transformer évolutif pour gérer l'hétérogénéité des entrées multimodales et capturer la non-linéarité et la haute fréquence des données robotiques. Pour remédier à la rareté des données, nous introduisons en outre un Physically Interpretable Unified Action Space, qui peut unifier les représentations d'action de divers robots tout en préservant la signification physique des actions d'origine, ce qui facilite l'apprentissage de connaissances physiques transférables. Grâce à ces conceptions, nous sommes parvenus à préentraîner RDT sur la plus grande collection de jeux de données multi-robots à ce jour et à le porter à 1,2 milliard de paramètres, ce qui en fait le plus grand modèle de fondation fondé sur la diffusion pour la manipulation robotique. Nous avons enfin affiné RDT sur un jeu de données bimanuel multitâche créé par nos soins, comptant plus de 6 000 épisodes, afin de perfectionner ses capacités de manipulation. Les expériences sur robots réels montrent que RDT surpasse nettement les méthodes existantes. Il fait preuve d'une généralisation zero-shot à des objets et des scènes inédits, comprend et suit des instructions en langage naturel, apprend de nouvelles compétences avec seulement 1 à 5 démonstrations et gère efficacement des tâches complexes exigeant de la dextérité. Le code et les vidéos sont disponibles sur https://rdt-robotics.github.io/rdt-robotics/.
Liens
- arXiv 2410.07864: https://arxiv.org/abs/2410.07864
- PDF: https://arxiv.org/pdf/2410.07864
- Page du projet: https://rdt-robotics.github.io/rdt-robotics/