Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

Autori: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025

ICLR 2025

Licenze

  • Open access
  • Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Abstract

La manipolazione bimanuale è essenziale in robotica, ma sviluppare foundation model è estremamente difficile a causa della complessità intrinseca del coordinamento di due bracci robotici (che porta a distribuzioni di azioni multimodali) e della scarsità di dati di addestramento. In questo articolo presentiamo il Robotics Diffusion Transformer (RDT), un foundation model di diffusione pionieristico per la manipolazione bimanuale. RDT si basa sui modelli di diffusione per rappresentare efficacemente la multimodalità, con soluzioni innovative di un Transformer scalabile per gestire l'eterogeneità degli input multimodali e catturare la non linearità e l'alta frequenza dei dati robotici. Per affrontare la scarsità di dati, introduciamo inoltre uno Spazio d'Azione Unificato Fisicamente Interpretabile, che può unificare le rappresentazioni delle azioni di robot diversi preservando il significato fisico delle azioni originali e facilitando l'apprendimento di conoscenza fisica trasferibile. Con queste soluzioni, siamo riusciti a preaddestrare RDT sulla più grande raccolta di dataset multi-robot finora disponibile e a scalarlo fino a 1,2 miliardi di parametri, il più grande foundation model basato sulla diffusione per la manipolazione robotica. Infine, abbiamo eseguito il fine-tuning di RDT su un dataset bimanuale multi-task creato da noi con oltre 6.000 episodi per affinarne le capacità di manipolazione. Gli esperimenti su robot reali dimostrano che RDT supera in modo significativo i metodi esistenti. Mostra una generalizzazione zero-shot a oggetti e scene mai visti, comprende e segue istruzioni in linguaggio naturale, apprende nuove abilità con appena 1~5 dimostrazioni e gestisce efficacemente compiti complessi che richiedono destrezza. Rimandiamo a https://rdt-robotics.github.io/rdt-robotics/ per il codice e i video.

Link

  • arXiv 2410.07864: https://arxiv.org/abs/2410.07864
  • PDF: https://arxiv.org/pdf/2410.07864
  • Pagina del progetto: https://rdt-robotics.github.io/rdt-robotics/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.