DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

Auteurs: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un jeu de données ShadowHand de 1,32M saisies sur 5355 objets, construit avec un optimiseur de force closure plus rapide et vérifié dans Isaac Gym ; les modèles de saisie entraînés dessus surpassent ceux entraînés sur DDGdata.

Pourquoi c'est important

La synthèse de saisies dextres fondée sur l'apprentissage exige bien plus de données que la saisie à mors parallèles, en raison des nombreux degrés de liberté de la main. DexGraspNet couvre plus d'objets, de catégories et de poses de saisie que les données ShadowHand antérieures, et l'entraînement de deux méthodes existantes de synthèse de saisies sur ce jeu a augmenté à la fois leur taux de réussite et la diversité de leurs poses sur les deux ensembles de test.

Problème

La saisie dextre avec des mains à plusieurs doigts est bien moins explorée que la saisie à mors parallèles, en partie parce qu'il n'existe aucun jeu de données à grande échelle ; le seul jeu de données ShadowHand, issu de DDG, compte 6,9K saisies sur 565 objets. Ces données proviennent du planificateur GraspIt!, dont la recherche dans un espace eigengrasp de faible dimension produit une faible dispersion des poses, tandis que la méthode antérieure de force closure différentiable présente un faible taux de réussite et une convergence lente.

Solution proposée

Les auteurs améliorent la synthèse de saisies par force closure différentiable grâce à une initialisation qui place une main ouverte face à l'objet depuis une enveloppe convexe dilatée, une énergie de pénétration inverse calculée à partir des points de l'objet afin que les maillages minces fonctionnent, et des termes d'énergie pour l'auto-pénétration et les limites articulaires, le tout optimisé par simple descente de gradient avec des distances signées Kaolin. Chaque saisie est ensuite testée dans Isaac Gym sous six directions de gravité avec une limite de pénétration de 0,1 cm, et seules les saisies qui passent les deux contrôles sont conservées.

Idées clés

• Démarrer l'optimisation à partir d'une main ouverte tournée vers l'objet augmente le taux de réussite et accélère la convergence de la synthèse de saisies par force closure.
• Mesurer la pénétration depuis les points de l'objet vers le maillage de la main (énergie de pénétration inverse) supprime le besoin de maillages d'objets dotés d'une épaisseur, ce qui permet d'utiliser des maillages scannés de faible qualité.
• Les poses GraspIt! n'ont qu'un degré de liberté par articulation de base de doigt et ramènent souvent les angles articulaires à leurs limites ; la synthèse par optimisation donne des poses plus variées (entropie moyenne des angles articulaires de 5,962 contre 4,246).
• Stabilité et diversité sont en tension : aucune des méthodes évaluées ne réussit bien sur les deux plans, et l'entropie plus élevée de GraspTTA s'accompagne d'un faible taux de réussite.

Principaux résultats

• 1,32 million de saisies sur 5355 objets dans 133 catégories, avec plus de 200 saisies par objet ; DDGdata compte 6,9k saisies sur 565 objets.
• Coût de génération : 74 min sur des GPU A100 pour optimiser 10 000 saisies sur 6000 pas, avec environ 18 % de saisies valides, contre 37 min sur une NVIDIA 3090 pour 512 saisies sur 10 000 pas avec environ 3 % de valides pour la méthode d'origine ; 950 heures GPU pour le jeu de données complet contre environ 50 000 estimées. L'introduction présente la même accélération comme un passage de 400 heures GPU à 7 heures GPU pour 10 000 saisies valides.
• Qualité des saisies : Q1 moyen de 0,1145 contre 0,0712 pour DDGdata, et 0,2533 contre 0,2277 sur les 10 % meilleures.
• DDG entraîné sur DexGraspNet contre sur DDGdata : réussite de 67,5 % contre 57,4 % et pénétration maximale de 0,173 contre 0,353 cm sur l'ensemble de test DexGraspNet ; réussite de 75,9 % contre 56,4 % sur l'ensemble de test DDGdata.
• GraspTTA entraîné sur DexGraspNet contre sur DDGdata : réussite de 24,5 % contre 17,1 % sur l'ensemble de test DexGraspNet et de 39,3 % contre 23,7 % sur l'ensemble de test DDGdata.
• Les modèles entraînés sur DexGraspNet présentent toujours une entropie moyenne des angles articulaires plus élevée, par exemple DDG à 5,683 contre 4,958 sur l'ensemble de test DexGraspNet.

Limites

• Le jeu de données ne couvre pas tous les types de saisie de la taxonomie de référence : l'optimisation attire les points de contact vers l'objet, de sorte que les saisies sont des saisies de force riches en contacts et que les saisies de précision apparaissent à peine.
• La méthode n'a pas de guidage sémantique, donc les saisies fonctionnelles, comme prendre une tasse par son anse, ne sont pas générées.
• Toutes les saisies concernent une ShadowHand simulée et ne sont validées que dans Isaac Gym ; aucune saisie sur robot réel n'est rapportée.
• Les benchmarks utilisent un test de réussite plus facile que la validation du jeu de données (une des six directions de gravité, pénétration de 5 mm), car le test d'origine était trop strict pour les références.
• Les méthodes existantes de synthèse de saisies ne parviennent pas à apprendre toute la diversité du jeu de données tout en conservant un taux de réussite raisonnable.

Impact sur le domaine

Finaliste du prix ICRA 2023 Outstanding Manipulation Paper, avec 329 citations. L'article indique que les données et les outils seront publiés après acceptation ; la page officielle du projet renvoie vers un dépôt de code public.

Résumé

La saisie d'objets avec des mains dextres est une tâche cruciale mais difficile pour la manipulation dextre robotique. Par rapport au domaine de la saisie d'objets avec des pinces parallèles, la saisie dextre est très peu explorée, en partie faute de jeu de données à grande échelle. Dans ce travail, nous présentons un jeu de données simulé à grande échelle, DexGraspNet, pour la saisie dextre robotique, ainsi qu'une méthode de synthèse très efficace pour la synthèse de saisies dextres variées. En tirant parti d'un estimateur de force closure différentiable fortement accéléré, nous sommes pour la première fois en mesure de synthétiser des saisies stables et variées de manière efficace et robuste. Nous choisissons ShadowHand, une pince dextre courante en robotique, et avons généré 1,32 million de saisies pour 5355 objets, couvrant plus de 133 catégories d'objets et contenant plus de 200 saisies variées pour chaque instance d'objet, toutes les saisies ayant été validées par le simulateur physique. Par rapport au précédent jeu de données généré par GraspIt!, notre jeu de données comporte non seulement davantage d'objets et de saisies, mais aussi une plus grande diversité et une meilleure qualité. Par des expériences croisées entre jeux de données, nous montrons que l'entraînement de plusieurs algorithmes de synthèse de saisies dextres sur nos jeux de données surpasse nettement l'entraînement sur le précédent, ce qui démontre la grande échelle et la diversité de DexGraspNet. Nous publierons les données et les outils après acceptation.

Liens

• arXiv 2210.02697: https://arxiv.org/abs/2210.02697
• DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
• PDF: https://arxiv.org/pdf/2210.02697v1
• Code: https://github.com/PKU-EPIC/DexGraspNet
• Page du projet: https://pku-epic.github.io/DexGraspNet/