Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation
Autori: Zipeng Fu, Tony Z. Zhao, Chelsea Finn · CoRL 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
Sistema di teleoperazione mobile bimanuale a basso costo che ottiene aumenti del tasso di successo fino al 90% in compiti domestici complessi con sole 50 dimostrazioni e il co-addestramento con dati ALOHA statici.
Perché è importante
Mobile ALOHA ha mostrato che la manipolazione mobile bimanuale economica è accessibile ai laboratori universitari. L'intuizione del co-addestramento, cioè che i dati di una configurazione più semplice possono migliorare le prestazioni su una più difficile, è una ricetta potente per un apprendimento robotico efficiente nell'uso dei dati. Le dimostrazioni virali di un robot che cucina in una cucina hanno catturato l'immaginazione del pubblico e ispirato numerose repliche in tutto il mondo.
Problema
La maggior parte della ricerca sull'apprendimento per imitazione è limitata alla manipolazione da tavolo, priva della mobilità e della destrezza necessarie per i compiti domestici reali. Raccogliere dimostrazioni di alta qualità di manipolazione mobile bimanuale è difficile perché non esisteva un sistema di teleoperazione del corpo intero economico.
Soluzione proposta
Mobile ALOHA estende il sistema di teleoperazione bimanuale ALOHA con una base mobile e un'interfaccia di teleoperazione del corpo intero. Il team usa il behavior cloning supervisionato con una nuova strategia di co-addestramento che sfrutta i dataset ALOHA statici esistenti per migliorare drasticamente le prestazioni nei compiti mobili con un numero minimo di dimostrazioni.
Idee chiave
- Il co-addestramento sui dataset ALOHA statici esistenti migliora drasticamente le prestazioni nella manipolazione mobile, aumentando i tassi di successo fino al 90% rispetto all'addestramento sui soli dati mobili
- Bastano 50 dimostrazioni per compito per apprendere comportamenti complessi di manipolazione mobile bimanuale, il che rende praticabile la raccolta dei dati
- La teleoperazione del corpo intero con una base mobile consente di raccogliere dati per compiti ben oltre le possibilità dei sistemi di manipolazione a base fissa
- Il progetto hardware a basso costo (costruito sulla piattaforma ALOHA esistente) rende il sistema riproducibile da altri laboratori di ricerca
- Compiti domestici complessi a più passaggi, come cucinare e usare un ascensore, sono realizzabili con un semplice behavior cloning supervisionato
Risultati principali
- Il co-addestramento con dati ALOHA statici aumenta i tassi di successo fino al 90% nei compiti di manipolazione mobile
- Completa autonomamente compiti complessi: saltare in padella un gambero, riporre pentole negli armadietti, chiamare un ascensore ed entrarvi, sciacquare padelle
- Bastano 50 dimostrazioni per compito per un apprendimento efficace della policy
- La coordinazione del corpo intero consente navigazione e manipolazione bimanuale simultanee
- Il progetto hardware a basso costo è riproducibile con componenti di serie
Limiti
- Il behavior cloning è sensibile allo spostamento della distribuzione: il robot può fallire in stati non visti durante le dimostrazioni
- I compiti con requisiti di alta precisione o lunghi orizzonti temporali restano difficili con sole 50 dimostrazioni
- La navigazione della base mobile è relativamente semplice; l'evitamento degli ostacoli complesso non è affrontato
- La generalizzazione a nuovi ambienti o a oggetti oltre la distribuzione di addestramento è limitata
Impatto sul settore
Mobile ALOHA è diventata una delle dimostrazioni di robotica più virali degli ultimi tempi, ispirando decine di laboratori a costruire i propri sistemi mobili bimanuali. Il paradigma del co-addestramento che ha introdotto è stato ampiamente adottato, e il progetto ha contribuito a orientare il campo verso una ricerca pratica sulla robotica domestica con hardware economico.
Abstract
L'apprendimento per imitazione da dimostrazioni umane ha mostrato prestazioni notevoli in robotica. Tuttavia, la maggior parte dei risultati si concentra sulla manipolazione da tavolo, priva della mobilità e della destrezza necessarie per compiti di utilità generale. In questo lavoro sviluppiamo un sistema per imitare compiti di manipolazione mobile che sono bimanuali e richiedono il controllo del corpo intero. Presentiamo prima Mobile ALOHA, un sistema di teleoperazione del corpo intero a basso costo per la raccolta dei dati. Estende il sistema ALOHA con una base mobile e un'interfaccia di teleoperazione del corpo intero. Usando i dati raccolti con Mobile ALOHA, eseguiamo poi un behavior cloning supervisionato e scopriamo che il co-addestramento con i dataset ALOHA statici esistenti migliora le prestazioni nei compiti di manipolazione mobile. Con 50 dimostrazioni per ogni compito, il co-addestramento può aumentare i tassi di successo fino al 90%, permettendo a Mobile ALOHA di completare autonomamente compiti complessi di manipolazione mobile come saltare in padella e servire un gambero, aprire un pensile a due ante per riporre pesanti pentole, chiamare un ascensore ed entrarvi, e sciacquare leggermente una padella usata con il rubinetto della cucina.
Link
- arXiv 2401.02117: https://arxiv.org/abs/2401.02117
- PDF: https://arxiv.org/pdf/2401.02117.pdf
- Codice: https://github.com/MarkFzp/mobile-aloha
- Pagina del progetto: https://mobile-aloha.github.io/