You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

Autori: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Uno spazio canonico delle forme addestrato solo in simulazione trasferisce un video di dimostrazione su oggetti nuovi; il cloning in anello chiuso con tracciamento raggiunge il 100 % nel mettere in piedi le batterie e l'82,9 % nell'inserimento di ingranaggi a 0,5 mm.

Perché è importante

Una nuova skill di assemblaggio può essere insegnata con un video più i modelli CAD delle istanze di addestramento, senza dati di addestramento del mondo reale né annotazione di keypoint, e si trasferisce a nuove istanze acquistate nei negozi. Il confronto con e senza tracciamento mostra quanto conti il feedback in anello chiuso sulla posa dell'oggetto negli inserimenti a tolleranza stretta.

Problema

I metodi di manipolazione a livello di categoria che trasferiscono una skill tra istanze di oggetti richiedono di solito keypoint semantici specificati a mano e una costosa raccolta di dati nel mondo reale, e trattano l'oggetto afferrato come fisso alla pinza eseguendo in anello aperto. Questo non funziona nei compiti a lungo orizzonte e ricchi di contatti, come inserire una batteria contro una molla, dove la sequenza di azioni intermedia conta e l'oggetto si muove nella mano.

Soluzione proposta

Una NUNOCS Net (una rete simile a PointNet) addestrata solo su dati sintetici di Blender mappa una nuvola di punti parziale in uno spazio canonico a livello di categoria con scala 3D non uniforme, fornendo una corrispondenza densa tra l'oggetto dimostrato e uno nuovo. Un singolo video di dimostrazione RGBD viene elaborato con il tracker a 6 DoF model-free BundleTrack per ottenere una traiettoria della posa dell'oggetto rispetto al ricettacolo, riproiettata sul nuovo oggetto ed eseguita come un movimento privo di collisioni con RRT* fino a una posa chiave a 5 cm dal ricettacolo, seguito da behavior cloning a livello di categoria (CatBC). CatBC segue la traiettoria obiettivo con aggiornamenti dei giunti basati sullo jacobiano e feedback del tracker a 10 Hz, ancorata a un sistema di riferimento scelto da un meccanismo di attenzione locale.

Idee chiave

Esprimere la dimostrazione come traiettoria della posa dell'oggetto rispetto al ricettacolo separa la skill dal dimostratore (mano umana o robot teleoperato) e dalla disposizione della scena.
Il tracciamento in anello chiuso dell'oggetto in mano conta soprattutto nei compiti ricchi di contatti: il successo è salito dal 37,78 % all'82,22 % nell'assemblaggio delle batterie e dal 42,9 % al 100 % nell'inserimento di ingranaggi alla tolleranza più ampia attivando il tracciamento.
La corrispondenza 3D densa da uno spazio canonico addestrato in simulazione è stata più precisa dei descrittori densi 2D (DON) o dei keypoint semantici (KPAM, KPAM 2.0) addestrati su dati reali; anche senza tracciamento ha superato tutte le baseline.
Dividere l'esecuzione in trasporto privo di collisioni e cloning dell'ultimo pollice permette al robot di gestire ostacoli non visti nella dimostrazione e di riprodurre solo la parte del video che decide il successo.
Strategie diverse possono essere insegnate ripetendo la dimostrazione: una dimostrazione con ancoraggio e rotazione ha dato un successo maggiore nell'inserimento di ingranaggi rispetto al semplice inserimento dall'alto.

Risultati principali

Batterie in piedi (9 batterie di test, 5 prove ciascuna): 100 % per il metodo completo, 80,0 % senza tracciamento e al massimo 60,0 % per le baseline (KPAM 2.0 con cloning basato sulla dimostrazione).
Assemblaggio di batterie contro una molla: 82,22 % per il metodo completo, 37,78 % senza tracciamento, al massimo 24,44 % per le baseline e 0 % per KPAM, KPAM 2.0 e DON senza cloning.
Inserimento di ingranaggi (7 ingranaggi di test): 100 % con tolleranza di 5 mm (3 mm per un ingranaggio), 82,9 % a 0,5 mm e 28,6 % a 0,1 mm; la migliore baseline ha raggiunto il 31,4 % a 5 mm, tutte e sei le baseline hanno ottenuto 0 % a 0,5 mm e la variante senza tracciamento il 5,7 % a 0,5 mm.
Sono state eseguite 1.560 prove nel mondo reale tra il metodo e 7 baseline; il tracker gira alla frequenza della telecamera di 10 Hz.
La NUNOCS Net ha usato 100.000 dati sintetici per categoria, mentre le baseline KPAM e KPAM 2.0 sono state addestrate su un numero di dati reali per categoria compreso tra 90.000 e 98.340, con annotazioni di keypoint.

Limiti

La visione è l'unica modalità sensoriale; gli autori si aspettano che la percezione di forza o tattile migliori l'accuratezza nei compiti ad alta precisione.
Sono gestiti solo oggetti rigidi; oggetti articolati o deformabili come i cavi richiedono altre rappresentazioni a livello di categoria.
Modi di fallimento riportati: nell'assemblaggio delle batterie la forza della molla può spingere la batteria fuori dalla pinza, e nell'inserimento di ingranaggi con ancoraggio e rotazione l'ingranaggio può ruotare nella mano finché non esiste più alcuna soluzione di cinematica inversa priva di collisioni.
Con una tolleranza ingranaggio-albero di 0,1 mm il successo scende al 28,6 %.
Il metodo presuppone una presa che non ostacoli il compito (la pianificazione della presa è fuori dal suo ambito), e i ricettacoli sono costruiti da primitive geometriche e localizzati con RANSAC.

Impatto sul settore

Finalista del RSS 2022 Best Paper Award, e citato 145 volte. L'articolo non dichiara il rilascio di codice o dati propri.

Abstract

Di recente sono stati ottenuti risultati promettenti nella manipolazione a livello di categoria che generalizza tra istanze di oggetti. Tuttavia, essa richiede spesso una costosa raccolta di dati nel mondo reale e la specifica manuale di keypoint semantici per ogni categoria di oggetti e ogni compito. Inoltre, predizioni approssimative dei keypoint e il fatto di ignorare le sequenze di azioni intermedie ne ostacolano l'adozione in compiti di manipolazione complessi oltre il pick-and-place. Questo lavoro propone un nuovo framework di manipolazione a livello di categoria che sfrutta una rappresentazione centrata sull'oggetto e a livello di categoria e un tracciamento del moto a 6 DoF model-free. La rappresentazione canonica dell'oggetto viene appresa esclusivamente in simulazione e poi usata per estrarre una traiettoria del compito a livello di categoria da un singolo video di dimostrazione. La dimostrazione viene riproiettata in una traiettoria obiettivo adattata a un oggetto nuovo tramite la rappresentazione canonica. Durante l'esecuzione, l'orizzonte di manipolazione viene scomposto in un moto a lungo raggio privo di collisioni e in una manipolazione dell'ultimo pollice. Per quest'ultima parte, un metodo di behavior cloning a livello di categoria (CatBC) sfrutta il tracciamento del moto per eseguire un controllo in anello chiuso. CatBC segue la traiettoria obiettivo, proiettata dalla dimostrazione e ancorata a un sistema di riferimento a livello di categoria selezionato dinamicamente. Il sistema di riferimento viene selezionato automaticamente lungo l'orizzonte di manipolazione da un meccanismo di attenzione locale. Questo framework consente di insegnare diverse strategie di manipolazione fornendo soltanto una singola dimostrazione, senza una complicata programmazione manuale. Esperimenti approfonditi ne dimostrano l'efficacia in una serie di impegnativi compiti industriali di assemblaggio ad alta precisione, che comportano l'apprendimento di policy complesse a lungo orizzonte. Il processo mostra robustezza all'incertezza dovuta alla dinamica, nonché generalizzazione tra istanze di oggetti e configurazioni della scena.

Link

arXiv 2201.12716: https://arxiv.org/abs/2201.12716
DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
PDF: https://arxiv.org/pdf/2201.12716v1