Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

Autori: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una rete a punti chiave addestrata solo su un mix di immagini sintetiche con domain randomization e fotorealistiche stima la posa a 6-DoF degli oggetti abbastanza bene per la presa con un robot reale.

Perché è importante

Un robot non ha bisogno di immagini reali etichettate per apprendere un nuovo oggetto noto, e poiché la posa si ricava con PnP anziché con regressione diretta, la rete può essere usata con un'altra telecamera senza riaddestramento. L'articolo mostra che le stime sono abbastanza accurate su un Baxter per prese dall'alto, pick-and-place su un altro oggetto e passaggio di oggetti da una persona.

Problema

Manipolare oggetti noti richiede la loro posizione e il loro orientamento 3D, ma etichettare la posa a 6-DoF in immagini reali è laborioso, quindi le reti vengono di solito addestrate su dati reali strettamente correlati al test set e generalizzano male a nuove telecamere e illuminazioni. I dati sintetici evitano l'etichettatura ma soffrono del reality gap, e la sola domain randomization aveva richiesto un fine-tuning su dati reali per essere competitiva.

Soluzione proposta

DOPE è una rete completamente convoluzionale a sei stadi (i primi dieci strati di VGG-19 più stadi ispirati alle convolutional pose machines) che produce mappe di credenza per gli 8 vertici proiettati del cuboide e per il centroide, più campi vettoriali che puntano dai vertici ai centroidi. I picchi vengono raggruppati in modo greedy in istanze di oggetti e passati a un risolutore perspective-n-point (PnP) con i parametri intrinseci della telecamera e le dimensioni dell'oggetto per ricavare la posa. L'addestramento usa circa 60k immagini con domain randomization e 60k fotorealistiche di oggetti YCB renderizzate con il plugin NDDS degli autori per Unreal Engine 4.

Idee chiave

I dati sintetici con domain randomization e quelli fotorealistici si completano a vicenda: il set misto da 120k ha superato set molto più grandi di uno solo dei due tipi.
Prevedere punti chiave 2D e risolvere PnP tiene i parametri intrinseci della telecamera fuori dai pesi della rete, a differenza dei metodi che regrediscono direttamente la posa.
Ogni stadio in più della rete aumenta l'accuratezza e costa tempo, perché gli stadi successivi usano campi recettivi più ampi per risolvere l'ambiguità precedente.
L'addestramento solo sintetico ha generalizzato a un'altra telecamera e all'illuminazione estrema meglio di PoseCNN, le cui immagini reali di addestramento provenivano dalla stessa telecamera del suo test set.
I materiali che il renderer non modella causano mancati rilevamenti: il coperchio metallico riflettente della scatoletta di carne non è stato riconosciuto quando era l'unica parte visibile.

Risultati principali

Su YCB-Video, DOPE addestrato solo su dati sintetici ha avuto un'area sotto la curva ADD maggiore di PoseCNN (addestrato su dati sintetici più dati reali di YCB-Video) per 4 oggetti su 5, ed è andato meglio sotto i 2 cm, circa il limite di errore di presa della pinza del Baxter.
Scatola di zucchero, solo dati con domain randomization: l'AUC è salita da 0,25 con 2k immagini a 54,22 con 10k e circa 60,6 con 100k, con un massimo di 66,64 con 300k; solo fotorealistici ha raggiunto un massimo di 62,94 con 600k; il set misto da 120k ha raggiunto 77,00.
Rapporto di miscelazione: le prestazioni sono state comparabili per tutte le reti purché fosse incluso almeno il 40 % di uno dei due dataset insieme all'altro completo.
Stadi rispetto al tempo (incluse l'estrazione degli oggetti e PnP): 1 stadio ha dato 46,44 di AUC in 57 ms e 6 stadi hanno dato 75,69 di AUC in 232 ms.
Prese dall'alto con il Baxter, 12 prove per oggetto nel disordine: scatola di cracker 10, scatoletta di carne 10, flacone di senape 11, scatola di zucchero 11, lattina di zuppa di pomodoro 7 (9 con la lattina coricata).

Limiti

Le scatolette di carne fortemente occluse spesso non vengono rilevate perché i dati sintetici non modellano la superficie metallica riflettente del coperchio.
Gli oggetti rotondi sono difficili per le prese dall'alto: la lattina di zuppa in piedi è riuscita in 7 prove su 12.
Le prese vengono eseguite senza servoing ad anello chiuso; gli errori derivano dalla stima della posa, dalla calibrazione telecamera-robot e dal controllo impreciso del robot, e il controllo sembra avere un ruolo importante.
Il metodo presuppone oggetti rigidi noti con dimensioni note e parametri intrinseci della telecamera noti; gli autori indicano più oggetti, la gestione delle simmetrie e il raffinamento ad anello chiuso come lavoro futuro.
Il confronto con PoseCNN in illuminazione estrema è solo qualitativo.

Impatto sul settore

Citato 778 volte. L'articolo rimanda a video e codice sulla sua pagina di progetto NVIDIA, che collega il repository del codice di DOPE; i dati di addestramento fotorealistici sono stati rilasciati come dataset Falling Things (FAT), e il plugin di generazione dati NDDS è su GitHub.

Abstract

Usare dati sintetici per addestrare reti neurali profonde per la manipolazione robotica offre la promessa di una quantità quasi illimitata di dati di addestramento pre-etichettati, generati in sicurezza e al riparo da ogni rischio. Una delle sfide principali dei dati sintetici, finora, è stata colmare il cosiddetto reality gap, in modo che le reti addestrate su dati sintetici funzionino correttamente quando esposte a dati del mondo reale. Esploriamo il reality gap nel contesto della stima della posa a 6-DoF di oggetti noti da una singola immagine RGB. Mostriamo che per questo problema il reality gap può essere colmato con successo da una semplice combinazione di dati con domain randomization e dati fotorealistici. Usando dati sintetici generati in questo modo, introduciamo una rete neurale profonda one-shot in grado di competere con una rete allo stato dell'arte addestrata su una combinazione di dati reali e sintetici. Per quanto ne sappiamo, questa è la prima rete profonda addestrata solo su dati sintetici in grado di raggiungere prestazioni allo stato dell'arte nella stima della posa degli oggetti a 6-DoF. La nostra rete generalizza inoltre meglio ad ambienti nuovi, incluse condizioni di illuminazione estreme, per le quali mostriamo risultati qualitativi. Usando questa rete dimostriamo un sistema in tempo reale che stima le pose degli oggetti con un'accuratezza sufficiente per la presa semantica nel mondo reale di oggetti domestici noti nel disordine da parte di un robot reale.

Link

arXiv 1809.10790: https://arxiv.org/abs/1809.10790
DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
Codice: https://github.com/NVlabs/Deep_Object_Pose
Pagina del progetto: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose