Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

Autori: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

HOPMan prevede maschere future di mano e oggetto da un'immagine della scena e un'immagine obiettivo usando video dal web, poi traduce quel piano in azioni di un Franka Panda, coprendo 16 abilità e 40 oggetti in modo zero-shot.

Perché è importante

Gran parte della conoscenza su come si muovono mani e oggetti proviene da video passivi del web, per cui i dati specifici del robot restano pochi: gli autori hanno raccolto 600 traiettorie accoppiate in circa 3 giorni. Un'unica policy condizionata all'obiettivo viene testata su istanze di oggetti mai viste, coppie oggetto-abilità mai viste, categorie di oggetti mai viste e abilità mai viste, anche su una base mobile in cucine e uffici non modificati.

Problema

Raccogliere dati di interazione robotica per ogni task, oggetto e abilità non è scalabile, e i recenti sistemi a capacità ampie hanno richiesto anni di dati robotici restando in gran parte limitati a prendere, posizionare e spingere. I metodi che usano video umani per rappresentazioni visive o affordance richiedono comunque molte dimostrazioni robotiche o addestramento al momento dell'impiego, e altri apprendono una policy separata per ogni task.

Soluzione proposta

La policy è fattorizzata in un modello di diffusione condizionato all'obiettivo, che prevede sette frame futuri di maschere di mano e oggetto da un'immagine attuale e un'immagine obiettivo, addestrato su circa 150.000 clip di due secondi da EPIC-KITCHENS ed Ego4D, e in una policy di traduzione basata su Transformer, che mappa le maschere previste e le osservazioni attuali in azioni 8-D (7 posizioni dei giunti più apertura/chiusura della pinza). Il modello di traduzione è addestrato su circa 400 traiettorie accoppiate umano-robot in laboratorio e 200 in ambienti non controllati, più circa 1000 traiettorie di solo robot in cui il robot viene rimosso e una mano umana inserita tramite inpainting.

Idee chiave

Le maschere semantiche della mano e dell'oggetto manipolato formano uno spazio dei piani compatto che scarta i dettagli della scena irrilevanti per il task e può essere appreso da video umani non curati.
Dividere la policy in previsione del piano e traduzione del piano in azioni permette alla parte che richiede molti dati di apprendere dai video del web, mentre la parte specifica del robot richiede solo pochi dati accoppiati.
Le coppie allucinate (video di robot con il braccio sostituito tramite inpainting da una mano umana) hanno migliorato il modello di traduzione quando aggiunte ai dati accoppiati reali, pur essendo imperfette.
L'articolo propone una scala strutturata di generalizzazione: lieve (nuove configurazioni di oggetti e abilità già visti), standard (nuove istanze, combinazioni oggetto-abilità mai viste) e forte (categorie di oggetti mai viste, abilità mai viste).

Risultati principali

Tassi di successo su tavolo (%) di HOPMan per generalizzazione lieve / di istanza / di combinazione mai vista / di categoria mai vista / di abilità mai vista: 68 / 58 / 50 / 40 / 25; il BC condizionato all'obiettivo ha ottenuto 43 / 20 / 13 / 0 / 0 e VRB 50 / 25 / 15 / 0 / 0.
Tassi di successo in ambienti non controllati (%) di HOPMan: 60 / 40 / 40 / 30 / 25, contro 45 / 10 / 10 / 0 / 0 del BC e 50 / 15 / 10 / 0 / 0 della baseline MP basata su MimicPlay.
H2R, addestrato solo su video umani passivi, ha ottenuto 20 / 20 / 15 / 15 / 15 su tavolo e 15 / 10 / 15 / 15 / 10 in ambienti non controllati; è stata l'unica baseline sopra lo zero nella generalizzazione forte.
Modello di traduzione da solo, con maschere di mano e oggetto ground truth (%): dati accoppiati più allucinati 85 / 65 / 60 / 60 / 25, solo accoppiati 85 / 60 / 50 / 30 / 15, solo allucinati 30 / 25 / 25 / 20 / 0.
La valutazione comprende circa 100 task costruiti da 16 abilità e 40 tipi di oggetti, con 2 o 3 istanze ciascuno.

Limiti

Gli autori affermano che i task mai visti affrontati sono ancora di complessità limitata, e rimandano a lavori futuri i task a lungo orizzonte che combinano più abilità.
Prevedono che il framework incontri difficoltà con la manipolazione fine, poiché ricavare l'articolazione precisa di mano e dita dai video del web resta un problema aperto.
Il successo nella generalizzazione forte resta tra il 25 e il 40 % su tavolo e tra il 25 e il 30 % in ambienti non controllati.
Il successo è giudicato ispezionando manualmente quanto la configurazione finale dell'oggetto sia vicina all'immagine obiettivo, e il numero di prove per configurazione non è indicato.

Impatto sul settore

Finalista dell'IEEE ICRA 2024 Best Paper Award in Robot Manipulation, con 82 citazioni. L'articolo rimanda a un sito del progetto con video del robot; non fornisce un repository di codice.

Abstract

Perseguiamo l'obiettivo di sviluppare robot in grado di interagire zero-shot con oggetti generici mai visti tramite un repertorio diversificato di abilità di manipolazione, e mostriamo come i video umani passivi possano costituire una ricca fonte di dati per apprendere tali robot generalisti. A differenza dei tipici approcci di apprendimento robotico, che apprendono direttamente come un robot dovrebbe agire a partire da dati di interazione, adottiamo un approccio fattorizzato che può sfruttare video umani su larga scala per apprendere come un essere umano svolgerebbe un task desiderato (un «piano» umano), seguito dalla «traduzione» di tale piano nell'embodiment del robot. In particolare, apprendiamo un «predittore di piani» umano che, data un'immagine attuale di una scena e un'immagine obiettivo, prevede le configurazioni future della mano e dell'oggetto. Lo combiniamo con un modulo di «traduzione» che apprende una policy di manipolazione robotica condizionata al piano e consente di seguire piani umani per task di manipolazione generici in modo zero-shot, senza addestramento al momento dell'impiego. È importante notare che, mentre il predittore di piani può sfruttare video umani su larga scala per l'apprendimento, il modulo di traduzione richiede solo una piccola quantità di dati del dominio e può generalizzare a task non visti durante l'addestramento. Mostriamo che il nostro sistema appreso può eseguire oltre 16 abilità di manipolazione che generalizzano a 40 oggetti, comprendendo 100 task reali di manipolazione su tavolo e di manipolazione varia in ambienti non controllati. https://homangab.github.io/hopman/

Link

arXiv 2312.00775: https://arxiv.org/abs/2312.00775
DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
PDF: https://arxiv.org/pdf/2312.00775v1
Pagina del progetto: https://homangab.github.io/hopman/