RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Autori: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

RoboCook modella l'interazione tra impasto e utensile con GNN addestrate su 20 minuti di dati reali per utensile, sceglie gli utensili con un classificatore PointNet++ e prepara dumpling usando 15 utensili intercambiabili.

Perché è importante

Il sistema mostra un braccio generico con un sistema di cambio utensile che completa una sequenza di nove passi per un dumpling e si riprende quando una persona deforma, aggiunge o sostituisce l'impasto a metà compito. Poiché la policy richiede un solo passaggio in avanti per azione, la pianificazione richiede secondi invece dei minuti necessari ai pianificatori basati sull'ottimizzazione con lo stesso modello appreso.

Problema

I compiti con corpi deformabili a lungo orizzonte, come preparare un dumpling, richiedono una scelta discreta di quale utensile usare e una scelta continua di come muoverlo, mentre l'impasto elastoplastico si deforma in modi difficili da modellare. I precedenti metodi a dinamica appresa affrontavano compiti a breve orizzonte con un solo utensile, e i simulatori di oggetti elastoplastici mostrano un divario sim-to-real evidente.

Soluzione proposta

Quattro telecamere RGB-D forniscono una nuvola di punti unificata da cui l'impasto viene ricostruito come mesh chiusa e ricampionato in 300 particelle di superficie, concatenate con particelle sulla mesh dell'utensile. Una GNN addestrata su circa 20 minuti di dati di esplorazione casuale per utensile prevede come si deforma l'impasto; un classificatore PointNet++ propone i tre utensili più probabili per il sotto-obiettivo successivo; e una policy PointNet++, addestrata su dati sintetici generati dalla GNN, produce i parametri d'azione per afferrare, premere e stendere con il rullo, mentre gli altri utensili usano pianificatori scritti a mano. Il ciclo si chiude con un feedback visivo dopo ogni azione.

Idee chiave

• Addestrare la GNN a prevedere solo due passi avanti è bastato per previsioni accurate su 15 passi in inferenza.
• Una policy addestrata offline su rollout sintetici della GNN copre l'intero spazio delle azioni e ha superato i pianificatori online (discesa del gradiente, CEM e RL) che usavano le stesse GNN e lo stesso classificatore di utensili.
• Spazi delle azioni per utensile da due a quattro parametri, derivati dallo spazio dell'end-effector a 6 DoF eliminando i gradi di libertà ridondanti, mantengono la pianificazione trattabile.
• Un modello dinamico addestrato solo su impasto di farina, acqua e sale ha modellato una lettera K in Play-Doh, argilla autoindurente e schiuma da modellismo senza riaddestramento.
• Un classificatore di utensili basato su PointNet ha generalizzato meglio di uno basato su ResNet, cosa che gli autori attribuiscono alla sua capacità di codificare la profondità.

Risultati principali

• Modellazione di lettere (R, O, B, C, K): 100 soggetti umani hanno riconosciuto le lettere di RoboCook con un'accuratezza di 0,90 ± 0,11, contro 0,54 (RoboCraft), 0,52 (CEM+GNN), 0,48 (CEM+MPM) e 0,17 (RL+GNN).
• Metriche sulle nuvole di punti: distanza di Chamfer di 0,0062 ± 0,0007 e Earth Mover's distance di 0,0042 ± 0,0006, le più basse tra i cinque metodi.
• Tempo di pianificazione di 9,3 ± 1,5 s contro 613,7 s (RoboCraft), 756,0 s (CEM+GNN), 1486,7 s (CEM+MPM) e 1867,9 s (RL+GNN); l'intera pipeline del dumpling richiede circa 10 s di pianificazione.
• Il classificatore di utensili ha raggiunto un'accuratezza per istanza di 0,996 su una partizione di test dei suoi dati di addestramento.
• Cinque soggetti umani che usavano gli stessi utensili hanno fatto nettamente peggio di RoboCook quando sceglievano da soli gli utensili, e in modo comparabile o peggiore quando ricevevano la sequenza di utensili e i sotto-obiettivi.

Limiti

• Secondo gli autori: l'impasto a volte si attacca all'utensile, e servirebbe un sistema automatico di correzione degli errori.
• Secondo gli autori: il sistema si basa su conoscenze a priori umane per lo spazio delle azioni di ciascun utensile.
• Secondo gli autori: i sotto-obiettivi sono definiti da esseri umani; per eliminarli servirebbero un'astrazione temporale di livello superiore e una pianificazione a livello di compito.
• Secondo gli autori: cavi e tessuti richiederebbero un'ulteriore stima della topologia.
• La dinamica e le policy apprese coprono solo pinze, rulli, presse e punzoni; il coltello, la taglierina, lo spintore e le spatole usano pianificatori scritti a mano, e l'azione del gancio è preprogrammata.

Impatto sul settore

Vincitore del CoRL 2023 Best Systems Paper Award; citato 137 volte (numero come riportato). La pagina ufficiale del progetto contiene i link al repository del codice di RoboCook e a una cartella di dati.

Abstract

Gli esseri umani eccellono in compiti complessi di manipolazione di corpi deformabili a lungo orizzonte grazie all'uso flessibile degli utensili: fare il pane richiede un coltello per tagliare l'impasto e un mattarello per stenderlo. Spesso considerato un tratto distintivo della cognizione umana, l'uso di utensili nei robot autonomi resta limitato a causa delle difficoltà nel comprendere le interazioni tra utensile e oggetto. Qui sviluppiamo un sistema robotico intelligente, RoboCook, che percepisce, modella e manipola oggetti elastoplastici con vari utensili. RoboCook usa rappresentazioni della scena a nuvola di punti, modella le interazioni tra utensile e oggetto con reti neurali a grafo (Graph Neural Networks, GNN) e combina la classificazione degli utensili con l'apprendimento autosupervisionato di policy per elaborare piani di manipolazione. Dimostriamo che, con soli 20 minuti di dati di interazione nel mondo reale per utensile, un braccio robotico generico può apprendere complessi compiti di manipolazione di oggetti deformabili a lungo orizzonte, come preparare dumpling e biscotti a forma di lettere dell'alfabeto. Ampie valutazioni mostrano che RoboCook supera nettamente gli approcci allo stato dell'arte, mostra robustezza contro forti disturbi esterni e dimostra adattabilità a materiali diversi.

Link

• arXiv 2306.14447: https://arxiv.org/abs/2306.14447
• DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
• PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
• Codice: https://github.com/hshi74/robocook
• Pagina del progetto: https://hshi74.github.io/robocook