Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

Autori: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Riconoscere gli oggetti che il robot ha già manipolato e riusarne i modelli TSDF parziali: il successo sale dall'85 % al 98 % e servono meno passaggi tra i bracci e meno nuove scansioni.

Perché è importante

Un robot che vede ripetutamente gli stessi articoli, come nei magazzini o nelle cucine, può sfruttare gli incontri precedenti per ridurre l'incertezza sulla forma invece di ripartire da zero. L'articolo mostra che questo riduce il numero di passi di manipolazione aggiuntivi necessari per posizionare oggetti in regioni vincolate.

Problema

I sistemi di pick-and-place per oggetti senza modelli 3D noti trattano di solito ogni oggetto come nuovo, anche quando lo stesso oggetto è già stato manipolato. Per il posizionamento in spazi ristretti devono assumere un volume conservativo per le parti non viste, il che impone passaggi tra i bracci e movimenti di percezione attiva aggiuntivi e a volte non lascia alcuna presa sicura.

Soluzione proposta

Ogni oggetto manipolato viene memorizzato come un volume di funzione di distanza con segno troncata (TSDF) da 1 mm più 64 cluster di caratteristiche di colore ResNet50 da diversi punti di vista. Un nuovo oggetto viene associato al dataset tramite distanza coseno, poi un filtro a particelle su GPU registra il modello parziale memorizzato e scarta le pose che cadono nello spazio libero osservato o sotto il tavolo. Lo stesso filtro a particelle traccia l'oggetto in mano mentre nuove viste di profondità vengono fuse nel suo modello.

Idee chiave

• I modelli a griglia di occupazione non erano abbastanza precisi da poter essere riusati tra compiti; un volume TSDF di 1 mm sì
• Scartare le ipotesi di posa che collocavano il modello nello spazio libero osservato o sotto il piano d'appoggio ha respinto l'unico falso riconoscimento prima che causasse un compito fallito
• Rappresentare un oggetto con più cluster di caratteristiche per punto di vista invece che con un'unica caratteristica media alza il recall da 0,211 a 0,886 alla soglia scelta
• I falsi negativi costano solo efficienza, poiché l'oggetto viene trattato come nuovo, mentre i falsi positivi possono far fallire un compito, quindi la soglia è fissata per un'alta precisione
• Renderizzare solo una regione di interesse dimezza il tempo per iterazione del filtro a particelle rispetto al precedente metodo a immagine intera

Risultati principali

• Successo nei compiti 54/55 (98 %) contro 47/55 (85 %) per la baseline che tratta ogni oggetto come nuovo
• Azioni di passaggio tra i bracci in 20/55 compiti (36 %) contro 37/55 (67 %) per la baseline
• Azioni di percezione attiva in 8/55 compiti (14 %) contro 35/55 (63 %) per la baseline
• La registrazione di un modello memorizzato ha ridotto il volume conservativo di incertezza sulla forma del 32 % in media e fino al 75 %
• Oggetto riconosciuto correttamente in 49/55 esperimenti, con 5 falsi negativi e 1 falso positivo che la stima della posa ha respinto
• Modelli ricostruiti entro 5 mm di distanza di Chamfer dal ground truth per tutti e quattro gli oggetti; le iterazioni di stima della posa richiedono circa 30 ms contro circa 60 ms del metodo precedente con 625 particelle

Limiti

• Gli autori affermano che la rappresentazione TSDF non è adatta alle strutture sottili, quindi oggetti come le ciotole sono difficili da ricostruire e tracciare
• Le scene ingombre sono lasciate a lavori futuri; ogni compito contiene un solo oggetto isolato
• I modelli ricostruiti contengono punti interni rumorosi dovuti a errori di tracciamento quando l'oggetto è molto occluso
• Valutato su quattro oggetti in 55 compiti per sistema, e si verificano falsi negativi quando la parte visibile di un oggetto non è mai stata vista prima

Impatto sul settore

Finalista del premio ICRA 2022 Outstanding Manipulation Paper, con 17 citazioni. Gli autori dichiarano che lo stimatore di posa a filtro a particelle è open source su GitHub come strumento di annotazione della posa 6DoF.

Abstract

Questo lavoro propone una pipeline robotica per il prelievo e il posizionamento vincolato di oggetti senza informazioni a priori sulla loro forma geometrica. Rispetto a lavori recenti sviluppati per compiti simili, in cui si assumeva che ogni oggetto fosse nuovo, il sistema proposto riconosce gli oggetti manipolati in precedenza ed esegue online la ricostruzione e il riuso dei modelli. Lungo un processo di manipolazione permanente, il sistema continua ad apprendere le caratteristiche degli oggetti con cui ha interagito e ne aggiorna i modelli ricostruiti. Ogni volta che ricompare un'istanza di un oggetto manipolato in precedenza, il sistema cerca prima di riconoscerla e poi di registrarne il modello ricostruito in precedenza in base all'osservazione corrente. Questo passo riduce notevolmente l'incertezza sulla forma dell'oggetto, consentendo al sistema di ragionare persino sulle parti degli oggetti che al momento non sono osservabili. Ne deriva anche una maggiore efficienza di manipolazione, perché si riduce la necessità di percezione attiva dell'oggetto obiettivo durante la manipolazione. Per ottenere un modello ricostruito riutilizzabile, la pipeline proposta adotta: i) la TSDF per la rappresentazione degli oggetti, e ii) una variante dell'algoritmo standard del filtro a particelle per la stima della posa e il tracciamento del modello parziale dell'oggetto. Inoltre, viene presentato un modo efficace per costruire e mantenere un dataset di oggetti manipolati. Viene eseguita una sequenza di esperimenti di manipolazione nel mondo reale per mostrare come i futuri compiti di manipolazione diventino più efficaci ed efficienti riutilizzando i modelli ricostruiti degli oggetti manipolati in precedenza, generati al volo, invece di trattare ogni volta gli oggetti come nuovi.

Link

• arXiv 2109.13910: https://arxiv.org/abs/2109.13910
• DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
• PDF: https://arxiv.org/pdf/2109.13910v1