RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
Autores: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025
Licencias
- Acceso abierto
- Artículo: arXiv.org perpetual, non-exclusive license 1.0
Según la licencia de arXiv, todo lo que sigue está escrito solo a partir del resumen.
Resumen
La manipulación bimanual es esencial en robótica, pero desarrollar modelos fundacionales es extremadamente difícil debido a la complejidad inherente de coordinar dos brazos robóticos (que da lugar a distribuciones de acciones multimodales) y a la escasez de datos de entrenamiento. En este artículo presentamos el Robotics Diffusion Transformer (RDT), un modelo fundacional de difusión pionero para la manipulación bimanual. RDT se basa en modelos de difusión para representar eficazmente la multimodalidad, con diseños innovadores de un transformador escalable para tratar la heterogeneidad de las entradas multimodales y captar la no linealidad y la alta frecuencia de los datos robóticos. Para abordar la escasez de datos, introducimos además un Espacio de Acción Unificado Físicamente Interpretable, que puede unificar las representaciones de acción de diversos robots preservando el significado físico de las acciones originales, lo que facilita el aprendizaje de conocimiento físico transferible. Con estos diseños, logramos preentrenar RDT con la mayor colección de conjuntos de datos de varios robots hasta la fecha y lo escalamos hasta 1,2 mil millones de parámetros, lo que lo convierte en el mayor modelo fundacional basado en difusión para la manipulación robótica. Por último, ajustamos RDT con un conjunto de datos bimanual multitarea creado por nosotros con más de 6.000 episodios para refinar sus capacidades de manipulación. Los experimentos con robots reales demuestran que RDT supera significativamente a los métodos existentes. Muestra generalización zero-shot a objetos y escenas no vistos, comprende y sigue instrucciones en lenguaje natural, aprende habilidades nuevas con solo 1~5 demostraciones y resuelve eficazmente tareas complejas que exigen destreza. Remitimos a https://rdt-robotics.github.io/rdt-robotics/ para el código y los vídeos.
Enlaces
- arXiv 2410.07864: https://arxiv.org/abs/2410.07864
- PDF: https://arxiv.org/pdf/2410.07864
- Página del proyecto: https://rdt-robotics.github.io/rdt-robotics/