DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

Autoren: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein ShadowHand-Datensatz mit 1,32M Griffen an 5355 Objekten, erstellt mit einem schnelleren Force-Closure-Optimierer und in Isaac Gym geprüft; darauf trainierte Greifmodelle schlagen solche, die auf DDGdata trainiert wurden.

Warum es wichtig ist

Lernbasierte Synthese geschickter Griffe benötigt wegen der vielen Freiheitsgrade der Hand weit mehr Daten als das Greifen mit Parallelbacken. DexGraspNet deckt mehr Objekte, Kategorien und Griffposen ab als frühere ShadowHand-Daten, und das Training zweier bestehender Griffsynthesemethoden darauf steigerte sowohl ihre Erfolgsrate als auch ihre Posenvielfalt auf beiden Testdatensätzen.

Problem

Geschicktes Greifen mit mehrfingrigen Händen ist weit weniger erforscht als Greifen mit Parallelbacken, teils weil kein großskaliger Datensatz existiert; der einzige ShadowHand-Datensatz, von DDG, umfasst 6,9K Griffe an 565 Objekten. Diese Daten stammen vom Planer GraspIt!, dessen Suche in einem niedrigdimensionalen Eigengrasp-Raum nur eine geringe Streuung der Posen ergibt, während die frühere differenzierbare Force-Closure-Methode eine niedrige Erfolgsrate und langsame Konvergenz aufweist.

Lösungsansatz

Die Autoren verbessern die differenzierbare Force-Closure-Griffsynthese durch eine Initialisierung, die eine geöffnete Hand von einer aufgeblähten konvexen Hülle aus dem Objekt zugewandt platziert, eine aus Objektpunkten berechnete umgekehrte Durchdringungsenergie, damit dünne Netze funktionieren, sowie Energieterme für Selbstdurchdringung und Gelenkgrenzen, optimiert durch einfachen Gradientenabstieg mit vorzeichenbehafteten Distanzen aus Kaolin. Jeder Griff wird anschließend in Isaac Gym unter sechs Schwerkraftrichtungen mit einer Durchdringungsgrenze von 0,1 cm getestet, und nur Griffe, die beide Prüfungen bestehen, werden behalten.

Wichtigste Erkenntnisse

Die Optimierung mit einer geöffneten, dem Objekt zugewandten Hand zu beginnen, erhöht die Erfolgsrate und beschleunigt die Konvergenz der Force-Closure-Griffsynthese.
Die Durchdringung von Objektpunkten zum Handnetz zu messen (umgekehrte Durchdringungsenergie), macht Objektnetze mit Dicke überflüssig, sodass auch gescannte Netze geringer Qualität verwendet werden können.
GraspIt!-Posen haben einen Freiheitsgrad pro Fingerwurzelgelenk und drängen Gelenkwinkel oft an ihre Grenzen; optimierungsbasierte Synthese liefert vielfältigere Posen (mittlere Gelenkwinkelentropie 5,962 gegenüber 4,246).
Stabilität und Vielfalt stehen im Zielkonflikt: Keine der gebenchmarkten Methoden schneidet bei beidem gut ab, und die höhere Entropie von GraspTTA geht mit einer niedrigen Erfolgsrate einher.

Hauptergebnisse

1,32 Millionen Griffe an 5355 Objekten in 133 Kategorien, mit mehr als 200 Griffen pro Objekt; DDGdata umfasst 6,9k Griffe an 565 Objekten.
Erzeugungsaufwand: 74 min auf A100-GPUs, um 10.000 Griffe über 6000 Schritte zu optimieren, mit etwa 18 % gültigen, gegenüber 37 min auf einer NVIDIA 3090 für 512 Griffe über 10.000 Schritte mit etwa 3 % gültigen bei der ursprünglichen Methode; 950 GPU-Stunden für den vollständigen Datensatz gegenüber geschätzten 50.000. Die Einleitung gibt dieselbe Beschleunigung als Senkung von 400 GPU-Stunden auf 7 GPU-Stunden pro 10.000 gültige Griffe an.
Griffqualität: mittleres Q1 von 0,1145 gegenüber 0,0712 für DDGdata, und 0,2533 gegenüber 0,2277 über die besten 10 %.
DDG trainiert auf DexGraspNet gegenüber auf DDGdata: Erfolg 67,5 % gegenüber 57,4 % und maximale Durchdringung 0,173 gegenüber 0,353 cm auf dem DexGraspNet-Testdatensatz; Erfolg 75,9 % gegenüber 56,4 % auf dem DDGdata-Testdatensatz.
GraspTTA trainiert auf DexGraspNet gegenüber auf DDGdata: Erfolg 24,5 % gegenüber 17,1 % auf dem DexGraspNet-Testdatensatz und 39,3 % gegenüber 23,7 % auf dem DDGdata-Testdatensatz.
Auf DexGraspNet trainierte Modelle zeigen stets eine höhere mittlere Gelenkwinkelentropie, z. B. DDG mit 5,683 gegenüber 4,958 auf dem DexGraspNet-Testdatensatz.

Einschränkungen

Der Datensatz deckt nicht jeden Grifftyp der Referenztaxonomie ab: Die Optimierung zieht Kontaktpunkte zum Objekt hin, daher sind die Griffe kontaktreiche Kraftgriffe, und Präzisionsgriffe kommen kaum vor.
Die Methode hat keine semantische Führung, daher werden funktionale Griffe wie das Aufheben eines Bechers am Henkel nicht erzeugt.
Alle Griffe gelten für eine simulierte ShadowHand und sind nur in Isaac Gym validiert; Greifen mit einem realen Roboter wird nicht berichtet.
Die Benchmarks verwenden einen leichteren Erfolgstest als die Datensatzvalidierung (eine von sechs Schwerkraftrichtungen, 5 mm Durchdringung), weil der ursprüngliche Test für die Baselines zu streng war.
Bestehende Griffsynthesemethoden können nicht die volle Vielfalt des Datensatzes lernen und dabei eine vernünftige Erfolgsrate halten.

Wirkung auf das Fachgebiet

Finalist für den ICRA 2023 Outstanding Manipulation Paper Award, mit 329 Zitierungen. Das Paper gibt an, dass Daten und Werkzeuge nach Annahme veröffentlicht werden; die offizielle Projektseite verlinkt ein öffentliches Code-Repository.

Zusammenfassung

Das Greifen von Objekten mit geschickten Händen ist eine entscheidende, aber anspruchsvolle Aufgabe für die geschickte Manipulation durch Roboter. Verglichen mit dem Feld des Greifens von Objekten mit Parallelgreifern ist das geschickte Greifen kaum erforscht, teilweise aufgrund des Fehlens eines großskaligen Datensatzes. In dieser Arbeit stellen wir einen großskaligen simulierten Datensatz, DexGraspNet, für das geschickte Greifen durch Roboter vor, zusammen mit einer hocheffizienten Synthesemethode für die Synthese vielfältiger geschickter Griffe. Mithilfe eines stark beschleunigten differenzierbaren Force-Closure-Schätzers können wir erstmals stabile und vielfältige Griffe effizient und robust synthetisieren. Wir wählen ShadowHand, einen in der Robotik häufig anzutreffenden geschickten Greifer, und erzeugten 1,32 Millionen Griffe für 5355 Objekte, die mehr als 133 Objektkategorien abdecken und mehr als 200 vielfältige Griffe pro Objektinstanz enthalten, wobei alle Griffe durch den Physiksimulator validiert wurden. Verglichen mit dem früheren, mit GraspIt! erzeugten Datensatz hat unser Datensatz nicht nur mehr Objekte und Griffe, sondern auch eine höhere Vielfalt und Qualität. Durch datensatzübergreifende Experimente zeigen wir, dass das Training mehrerer Algorithmen zur Synthese geschickter Griffe auf unseren Datensätzen das Training auf dem früheren Datensatz deutlich übertrifft, was die große Skalierung und Vielfalt von DexGraspNet belegt. Wir werden die Daten und Werkzeuge nach Annahme veröffentlichen.

Open Source Robotics