Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

Autoren: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025

ICLR 2025

Lizenzen

  • Open Access
  • Paper: arXiv.org perpetual, non-exclusive license 1.0

Gemäß der Lizenz von arXiv beruht alles Folgende nur auf dem Abstract.

Zusammenfassung

Bimanuelle Manipulation ist in der Robotik unverzichtbar, doch die Entwicklung von Foundation Models ist äußerst schwierig, wegen der inhärenten Komplexität, zwei Roboterarme zu koordinieren (was zu multimodalen Aktionsverteilungen führt), und wegen knapper Trainingsdaten. In diesem Paper stellen wir den Robotics Diffusion Transformer (RDT) vor, ein wegweisendes Foundation Model auf Diffusionsbasis für bimanuelle Manipulation. RDT baut auf Diffusionsmodellen auf, um Multimodalität wirksam darzustellen, mit innovativen Designs eines skalierbaren Transformers, um die Heterogenität multimodaler Eingaben zu bewältigen und die Nichtlinearität und hohe Frequenz von Robotikdaten zu erfassen. Gegen die Datenknappheit führen wir zudem einen Physically Interpretable Unified Action Space ein, der die Aktionsrepräsentationen verschiedener Roboter vereinheitlichen kann und dabei die physikalische Bedeutung der ursprünglichen Aktionen bewahrt, was das Lernen übertragbaren physikalischen Wissens erleichtert. Mit diesen Designs gelang es uns, RDT auf der bislang größten Sammlung von Datensätzen mehrerer Roboter vorzutrainieren und auf 1,2 Mrd. Parameter zu skalieren; es ist damit das größte diffusionsbasierte Foundation Model für Robotermanipulation. Abschließend haben wir RDT auf einem selbst erstellten bimanuellen Multitask-Datensatz mit mehr als 6.000 Episoden feinabgestimmt, um seine Manipulationsfähigkeiten zu verfeinern. Experimente mit echten Robotern zeigen, dass RDT bestehende Methoden deutlich übertrifft. Es generalisiert zero-shot auf unbekannte Objekte und Szenen, versteht und befolgt sprachliche Anweisungen, lernt neue Fähigkeiten mit nur 1 bis 5 Demonstrationen und bewältigt komplexe, geschickte Aufgaben wirksam. Code und Videos finden sich unter https://rdt-robotics.github.io/rdt-robotics/.

Links

  • arXiv 2410.07864: https://arxiv.org/abs/2410.07864
  • PDF: https://arxiv.org/pdf/2410.07864
  • Projektseite: https://rdt-robotics.github.io/rdt-robotics/

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.