Grasp Pose Detection in Point Clouds

Autori: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Campionare migliaia di pose della pinza a 6-DOF su qualsiasi superficie visibile, valutare ciascuna con una piccola CNN su proiezioni multivista della nuvola locale, sceglierne una con euristiche: 93 % di successo in disordine fitto.

Perché è importante

Il metodo non richiede segmentazione, identità dell'oggetto né modello CAD in fase di esecuzione, il che lo rende adatto al prelievo in mondo aperto. Le ablazioni sul robot mostrano quanto contribuisce ogni fase: la qualità della nuvola di punti, la classificazione delle prese e le euristiche di selezione delle prese cambiano ciascuna il tasso di successo da 9 a 40 punti.

Problema

Le pipeline di presa classiche registrano un modello CAD sulla nuvola di punti, il che è difficile con nuvole rumorose e parziali e presuppone che esista un modello per ogni oggetto. I metodi di rilevamento delle prese precedenti raggiungevano il 75–95 % di successo di presa su oggetti isolati o in disordine leggero, troppo poco per un uso pratico e non rappresentativo del disordine reale.

Soluzione proposta

I candidati di presa vengono campionati su qualsiasi superficie visibile costruendo un sistema di riferimento di Darboux locale in punti casuali della nuvola e spingendo in avanti un modello della pinza fino al contatto, mantenendo le pose prive di collisioni con punti all'interno della regione di chiusura. Ogni candidato è codificato come un'immagine a 15 canali (o a 3 canali, più economica) a partire da tre proiezioni di voxel occupati, voxel occlusi e normali di superficie, e valutato da una CNN a quattro strati in stile LeNet. La CNN è addestrata su 1,5M di esemplari etichettati, generati verificando prese antipodali senza attrito su mesh di BigBird registrate su nuvole di punti reali.

Idee chiave

La rappresentazione della presa conta: il descrittore a 15 canali con normali di superficie e viste multiple supera la mappa delle altezze a 3 canali di Herzog/Kappler di almeno il 10 % di accuratezza di classificazione
Il preaddestramento su dati CAD simulati aiuta all'inizio (stessa accuratezza a 4000 iterazioni che a 20000 senza), ma il beneficio svanisce, e l'addestramento solo in simulazione ha raggiunto appena l'83 % contro circa il 90 % con dati reali
Conoscere la categoria o l'istanza dell'oggetto aumenta l'accuratezza: circa il 97 % di classificazione per istanze cilindriche note contro circa il 92 % senza conoscenza preliminare
Il rilevamento delle prese ha bisogno di un'alta precisione più che di un'alta accuratezza, perciò l'articolo misura il recall al 99 % di precisione
Le prese rilevate possono servire da proposte di oggetti per un classificatore di oggetti, consentendo al robot di afferrare un oggetto indicato per nome

Risultati principali

Nuvola di punti attiva (sensore al polso con InfiniTAM): 93 % di successo di presa (268 su 288 tentativi) in 30 turni da 10 oggetti, con l'89 % degli oggetti sgomberati
Nuvola di punti passiva (due Asus Xtion Pro montati sul corpo): 84 % di successo (116 su 138), 77 % degli oggetti sgomberati
Senza le euristiche di selezione delle prese: 75 % di successo (117 su 155); senza classificazione delle prese: 53 % di successo (75 su 142)
Recall al 99 % di precisione: 89 % per la rappresentazione a 15 canali, 82 % per 12 canali, 19 % per la rappresentazione di Herzog/Kappler
Tempo di esecuzione per 1k candidati su una nuvola di 66k punti: 2,1 s con il descrittore a 3 canali contro circa 8 s con 15 canali
Prese come proposte di oggetti nel disordine: 85,4 % di accuratezza di classificazione degli oggetti (1023 su 1197 proposte) su 9 oggetti

Limiti

Senza segmentazione, il rilevatore può produrre una presa che tratta due oggetti adiacenti come uno solo; ci si aspetta che il problema cresca con mani di apertura maggiore
Afferrare un oggetto specifico dipende da una classificazione degli oggetti che in laboratorio ha raggiunto solo l'85 %; migliorarla è necessario prima dell'uso nel mondo reale
Il metodo è limitato a mani a due dita (o mani che si comportano come tali), e il vantaggio del campionamento può scomparire per mani con regioni di chiusura più complesse
L'apertura di presa di 3–7 cm della pinza del Baxter ha limitato gli oggetti di prova, e due oggetti hanno dovuto essere raddrizzati a mano quando sono caduti capovolti
I dati di addestramento da immagini di profondità simulate si trasferiscono male ai sensori reali (83 % contro circa il 90 % di accuratezza)

Impatto sul settore

722 citazioni. Gli autori rilasciano la loro implementazione come pacchetto ROS in C++ (github.com/atenpas/gpd) e definiscono un protocollo di benchmark di disordine fitto per gli esperimenti di presa.

Abstract

Di recente sono stati proposti diversi metodi di rilevamento delle prese che possono essere usati per localizzare configurazioni di presa robotica direttamente dai dati dei sensori, senza stimare la posa dell'oggetto. L'idea di fondo è trattare la percezione delle prese in modo analogo al rilevamento di oggetti nella visione artificiale. Questi metodi prendono in ingresso un'immagine RGBD o una nuvola di punti rumorosa e parzialmente occlusa e producono in uscita stime di posa di prese praticabili, senza presupporre un modello CAD noto dell'oggetto. Sebbene questi metodi generalizzino bene la conoscenza delle prese a oggetti nuovi, non è ancora stato dimostrato che siano abbastanza affidabili per un uso diffuso. Molti metodi di rilevamento delle prese raggiungono tassi di successo di presa (prese riuscite come frazione del numero totale di tentativi di presa) tra il 75 % e il 95 % per oggetti nuovi presentati isolatamente o in disordine leggero. Non solo questi tassi di successo sono troppo bassi per applicazioni pratiche di presa, ma gli scenari di disordine leggero valutati spesso non riflettono le realtà della presa nel mondo reale. Questo articolo propone una serie di innovazioni che insieme portano a un miglioramento significativo delle prestazioni del rilevamento delle prese. Il miglioramento specifico delle prestazioni dovuto a ciascuno dei nostri contributi è misurato quantitativamente in simulazione o su hardware robotico. Infine, riportiamo una serie di esperimenti robotici che ottengono in media un tasso di successo di presa end-to-end del 93 % per oggetti nuovi presentati in disordine fitto.

Link

arXiv 1706.09911: https://arxiv.org/abs/1706.09911
DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
PDF: https://arxiv.org/pdf/1706.09911v1
Codice: http://github.com/atenpas/gpd