A System for General In-Hand Object Re-Orientation

Autori: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

RL model-free con distillazione teacher-student, inizializzazione da pose sollevate e un curriculum di gravità riorienta oltre 2000 oggetti in una Shadow Hand simulata, con il palmo in su o in giù, senza input sulla forma.

Perché è importante

Le policy raggiungono orientamenti obiettivo arbitrari in SO(3) senza alcun input sulla forma dell'oggetto, che gli autori definiscono la loro scoperta più sorprendente e che suggerisce che la percezione della forma possa contare meno del previsto per il riorientamento in mano. I casi con la mano rivolta verso il basso e con l'appoggio di un tavolo coprono configurazioni della mano che i precedenti lavori di riorientamento appreso, focalizzati su una mano con il palmo in su, non affrontavano.

Problema

Riorientare un oggetto in una mano a più dita significa controllare uno spazio d'azione ad alta dimensionalità mentre i contatti tra dita e oggetto continuano a formarsi e interrompersi. I metodi precedenti sono stati mostrati per lo più in simulazione su forme semplici con modelli degli oggetti noti, oppure richiedevano apparati aggiuntivi come il motion capture sui robot reali, non generalizzavano tra oggetti e quasi tutti presupponevano che la mano fosse rivolta verso l'alto.

Soluzione proposta

Una policy teacher viene addestrata con PPO sullo stato privilegiato del simulatore (incluse le velocità dell'oggetto e dei polpastrelli) su oltre 2000 oggetti EGAD e YCB, poi distillata con DAgger in policy student che vedono o le posizioni dei giunti più la posa dell'oggetto, oppure solo una nuvola di punti voxelizzata da due telecamere RGBD elaborata da una rete convoluzionale 3D sparsa (Sparse3D-IMPALA-Net). Per una mano rivolta verso il basso senza tavolo, gli episodi partono dagli stati finali di una policy separata di sollevamento dell'oggetto, e la gravità viene introdotta gradualmente tramite un curriculum.

Idee chiave

• Policy senza accesso alla forma dell'oggetto riorientano molti oggetti mai visti; con la mano rivolta verso l'alto, la strategia appresa lancia l'oggetto facendolo ruotare e lo riprende quando il suo orientamento corrisponde all'obiettivo.
• Lo stato privilegiato, come le velocità dell'oggetto e dei polpastrelli, addestra policy migliori più in fretta, e la distillazione con DAgger verso uno stato ridotto a 31 dimensioni (posizioni dei giunti, posizione dell'oggetto, differenza di orientamento) conserva gran parte del tasso di successo.
• Con la mano rivolta verso il basso e senza appoggio, l'addestramento diretto dà lo 0 % di successo; far partire gli episodi dagli stati finali di una policy di sollevamento e aggiungere un curriculum di gravità rendono il compito apprendibile.
• Usare la distanza di Chamfer tra le nuvole di punti corrente e obiettivo dell'oggetto come test di successo aggiuntivo gestisce gli oggetti simmetrici i cui diversi orientamenti appaiono identici alle telecamere.
• Policy addestrate su oggetti da 50-150 g riorientano zero-shot oggetti YCB con massa portata a 0,3-0,5 kg con circa il 75 % di successo.

Risultati principali

• Mano in su, teacher RNN a stato completo (addestrata e testata senza randomizzazione del dominio): 95,95 ± 0,8 % di successo su EGAD e 80,40 ± 1,6 % su YCB.
• Mano in su, student RNN a stato ridotto: 91,96 ± 1,5 % su EGAD e 81,04 ± 0,5 % su YCB.
• Mano in giù sopra un tavolo, MLP a stato completo: 95,31 ± 0,9 % (EGAD) e 81,59 ± 0,7 % (YCB); la policy di sollevamento dell'oggetto usata per l'inizializzazione ha successo nel 97,80 % (EGAD) e nel 90,11 % (YCB) dei casi.
• Mano in giù in aria, student a stato ridotto: 74,10 ± 2,3 % (EGAD) e 45,22 ± 2,1 % (YCB); con il curriculum di gravità YCB sale a 67,33 ± 1,9 %.
• Trasferimento zero-shot tra dataset, mano in su, stato completo: 68,82 ± 1,7 % per EGAD→YCB e 96,41 ± 1,2 % per YCB→EGAD.
• Policy visive per singolo oggetto (θ̄ = 0,2 rad, soglia di Chamfer 0,01): 89,67 ± 1,2 % su una tazza e 84,52 ± 1,4 % su un aeroplano giocattolo, 50,21-66,57 % su pezzi simmetrici di Lego Duplo.

Limiti

• Tutti gli esperimenti sono in simulazione (una Shadow Hand simulata in Isaac Gym); gli autori hanno limitato l'ambito a causa della pandemia e forniscono solo prove indirette del trasferimento al mondo reale (randomizzazione del dominio e un'analisi delle coppie di picco).
• Le policy visive sono state addestrate una per oggetto su sei oggetti a causa del costo computazionale; una singola policy visiva per molti oggetti è lasciata a lavori futuri, con la memoria della GPU indicata come principale collo di bottiglia.
• Il successo varia molto con la forma dell'oggetto: oggetti lunghi, piccoli o sottili causano il 60 % di 100 fallimenti YCB analizzati, e un ulteriore 19 % termina vicino all'obiettivo ma fuori dalla soglia di 0,1 rad.
• Gli autori non escludono del tutto che la strategia di lancio e presa sfrutti il simulatore, anche se la loro analisi delle forze indica il contrario.
• Il riorientamento con la mano rivolta verso il basso e senza appoggio resta ben al di sotto del caso verso l'alto su YCB (45,22 % per lo student senza curriculum, 67,33 % con esso).

Impatto sul settore

Vincitore del CoRL 2021 Best Paper Award, con 351 citazioni. L'articolo pubblica i video delle policy apprese sulla pagina del progetto, e la pagina ufficiale del progetto rimanda a un repository di codice (Improbable-AI/dexenv).

Abstract

Il riorientamento di oggetti in mano è stato un problema impegnativo in robotica a causa dello spazio di attuazione ad alta dimensionalità e del frequente cambiamento dello stato di contatto tra le dita e gli oggetti. Presentiamo un semplice framework model-free in grado di imparare a riorientare oggetti sia con la mano rivolta verso l'alto sia verso il basso. Dimostriamo la capacità di riorientare oltre 2000 oggetti geometricamente diversi in entrambi i casi. Le policy apprese mostrano forti prestazioni di trasferimento zero-shot su oggetti nuovi. Forniamo prove che queste policy si prestano al funzionamento nel mondo reale distillandole in modo che usino osservazioni facilmente disponibili nel mondo reale. I video delle policy apprese sono disponibili su: https://taochenshh.github.io/projects/in-hand-reorientation.

Link

• arXiv 2111.03043: https://arxiv.org/abs/2111.03043
• DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
• PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
• Codice: https://github.com/Improbable-AI/dexenv
• Pagina del progetto: https://taochenshh.github.io/projects/in-hand-reorientation