DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

Autori: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un dataset di 1,32M prese della ShadowHand su 5355 oggetti, costruito con un ottimizzatore di chiusura di forza più veloce e verificato in Isaac Gym; i modelli di presa addestrati su di esso superano quelli addestrati su DDGdata.

Perché è importante

La sintesi di prese destre basata sull'apprendimento richiede molti più dati della presa con pinze parallele, a causa dei numerosi gradi di libertà della mano. DexGraspNet copre più oggetti, categorie e pose di presa dei precedenti dati per la ShadowHand, e addestrarvi due metodi esistenti di sintesi delle prese ha aumentato sia il loro tasso di successo sia la diversità delle pose su entrambi i set di test.

Problema

La presa con mani a più dita è molto meno esplorata della presa con pinze parallele, in parte perché non esiste un dataset su larga scala; l'unico dataset per la ShadowHand, di DDG, ha 6,9K prese su 565 oggetti. Quei dati provengono dal pianificatore GraspIt!, la cui ricerca in uno spazio di eigengrasp a bassa dimensione dà una gamma ristretta di pose, mentre il precedente metodo differenziabile a chiusura di forza ha un basso tasso di successo e una convergenza lenta.

Soluzione proposta

Gli autori migliorano la sintesi differenziabile di prese a chiusura di forza con un'inizializzazione che colloca una mano aperta rivolta verso l'oggetto a partire da un inviluppo convesso dilatato, un'energia di penetrazione inversa calcolata dai punti dell'oggetto in modo che funzionino anche le mesh sottili, e termini di energia per l'autopenetrazione e i limiti dei giunti, ottimizzati con una semplice discesa del gradiente usando le distanze con segno di Kaolin. Ogni presa viene poi testata in Isaac Gym sotto sei direzioni di gravità con un limite di penetrazione di 0,1 cm, e vengono mantenute solo le prese che superano entrambe le verifiche.

Idee chiave

• Avviare l'ottimizzazione da una mano aperta rivolta verso l'oggetto aumenta il tasso di successo e accelera la convergenza della sintesi di prese a chiusura di forza.
• Misurare la penetrazione dai punti dell'oggetto alla mesh della mano (energia di penetrazione inversa) elimina la necessità di mesh degli oggetti dotate di spessore, così si possono usare mesh scansionate di bassa qualità.
• Le pose di GraspIt! hanno un grado di libertà per ogni giunto alla radice delle dita e spesso portano gli angoli dei giunti ai loro limiti; la sintesi basata sull'ottimizzazione dà pose più diversificate (entropia media degli angoli dei giunti 5,962 contro 4,246).
• Stabilità e diversità sono in compromesso: nessuno dei metodi valutati va bene su entrambe, e l'entropia più alta di GraspTTA si accompagna a un basso tasso di successo.

Risultati principali

• 1,32 milioni di prese su 5355 oggetti in 133 categorie, con più di 200 prese per oggetto; DDGdata ha 6,9k prese su 565 oggetti.
• Costo di generazione: 74 min su GPU A100 per ottimizzare 10.000 prese per 6000 passi con circa il 18 % valide, contro 37 min su una NVIDIA 3090 per 512 prese su 10.000 passi con circa il 3 % valide per il metodo originale; 950 ore di GPU per l'intero dataset contro 50.000 stimate. L'introduzione indica la stessa accelerazione come un passaggio da 400 ore di GPU a 7 ore di GPU ogni 10.000 prese valide.
• Qualità delle prese: Q1 medio di 0,1145 contro 0,0712 per DDGdata, e 0,2533 contro 0,2277 sul miglior 10 %.
• DDG addestrato su DexGraspNet rispetto a DDGdata: successo del 67,5 % contro il 57,4 % e penetrazione massima di 0,173 contro 0,353 cm sul set di test di DexGraspNet; successo del 75,9 % contro il 56,4 % sul set di test di DDGdata.
• GraspTTA addestrato su DexGraspNet rispetto a DDGdata: successo del 24,5 % contro il 17,1 % sul set di test di DexGraspNet e del 39,3 % contro il 23,7 % sul set di test di DDGdata.
• I modelli addestrati su DexGraspNet mostrano sempre un'entropia media degli angoli dei giunti più alta, ad es. DDG a 5,683 contro 4,958 sul set di test di DexGraspNet.

Limiti

• Il dataset non copre tutti i tipi di presa della tassonomia di riferimento: l'ottimizzazione attira i punti di contatto verso l'oggetto, quindi le prese sono prese di forza ricche di contatti e le prese di precisione compaiono a malapena.
• Il metodo non ha una guida semantica, quindi non vengono generate prese funzionali come afferrare una tazza per il manico.
• Tutte le prese sono per una ShadowHand simulata e validate solo in Isaac Gym; non sono riportate prese con un robot reale.
• I benchmark usano un test di successo più facile della validazione del dataset (una su sei direzioni di gravità, penetrazione di 5 mm) perché il test originale era troppo severo per le baseline.
• I metodi esistenti di sintesi delle prese non riescono ad apprendere tutta la diversità del dataset mantenendo un tasso di successo ragionevole.

Impatto sul settore

Finalista dell'ICRA 2023 Outstanding Manipulation Paper award, con 329 citazioni. L'articolo afferma che i dati e gli strumenti saranno rilasciati dopo l'accettazione; la pagina ufficiale del progetto rimanda a un repository di codice pubblico.

Abstract

La presa di oggetti con mani destre è un compito cruciale ma difficile per la manipolazione fine robotica. Rispetto al campo della presa di oggetti con pinze parallele, la presa con mani destre è molto poco esplorata, in parte per la mancanza di un dataset su larga scala. In questo lavoro presentiamo un dataset simulato su larga scala, DexGraspNet, per la presa robotica con mani destre, insieme a un metodo di sintesi altamente efficiente per la sintesi di prese destre diversificate. Sfruttando uno stimatore differenziabile della chiusura di forza fortemente accelerato, siamo in grado, per la prima volta, di sintetizzare prese stabili e diversificate in modo efficiente e robusto. Scegliamo la ShadowHand, una pinza destra comunemente usata in robotica, e abbiamo generato 1,32 milioni di prese per 5355 oggetti, che coprono più di 133 categorie di oggetti e contengono più di 200 prese diverse per ogni istanza di oggetto, tutte validate dal simulatore fisico. Rispetto al precedente dataset generato da GraspIt!, il nostro dataset non ha solo più oggetti e prese, ma anche maggiore diversità e qualità. Attraverso esperimenti incrociati tra dataset, mostriamo che addestrare diversi algoritmi di sintesi di prese destre sui nostri dataset supera significativamente l'addestramento sul precedente, dimostrando la grande scala e la diversità di DexGraspNet. Rilasceremo i dati e gli strumenti dopo l'accettazione.

Link

• arXiv 2210.02697: https://arxiv.org/abs/2210.02697
• DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
• PDF: https://arxiv.org/pdf/2210.02697v1
• Codice: https://github.com/PKU-EPIC/DexGraspNet
• Pagina del progetto: https://pku-epic.github.io/DexGraspNet/