A System for General In-Hand Object Re-Orientation

Autoren: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Modellfreies RL mit Teacher-Student-Destillation, Initialisierung in angehobener Pose und einem Schwerkraft-Curriculum orientiert über 2000 Objekte in einer simulierten Shadow Hand neu, Handfläche nach oben oder unten, ohne Formeingabe.

Warum es wichtig ist

Die Policies erreichen beliebige SO(3)-Zielorientierungen ohne jede Eingabe zur Objektform, was die Autoren ihr überraschendstes Ergebnis nennen und was darauf hindeutet, dass die Wahrnehmung der Form für die Neuorientierung in der Hand weniger wichtig sein könnte als erwartet. Die Fälle mit nach unten gerichteter Hand und mit Unterstützung durch einen Tisch decken Handkonfigurationen ab, die frühere gelernte Neuorientierung, die sich auf eine Hand mit Handfläche nach oben konzentrierte, nicht behandelte.

Problem

Ein Objekt in einer mehrfingrigen Hand neu zu orientieren bedeutet, einen hochdimensionalen Aktionsraum zu steuern, während Finger-Objekt-Kontakte ständig entstehen und abreißen. Frühere Methoden wurden überwiegend in der Simulation an einfachen Formen mit bekannten Objektmodellen gezeigt oder benötigten auf realen Robotern zusätzliche Apparaturen wie Motion Capture, generalisierten nicht über Objekte hinweg, und fast alle nahmen an, dass die Hand nach oben zeigt.

Lösungsansatz

Eine Teacher-Policy wird mit PPO auf privilegiertem Simulatorzustand (einschließlich Objekt- und Fingerspitzengeschwindigkeiten) über mehr als 2000 EGAD- und YCB-Objekte trainiert und dann mit DAgger in Student-Policies destilliert, die entweder Gelenkpositionen plus Objektpose sehen oder nur eine voxelisierte Punktwolke aus zwei RGBD-Kameras, verarbeitet von einem dünnbesetzten 3D-Faltungsnetz (Sparse3D-IMPALA-Net). Für eine nach unten gerichtete Hand ohne Tisch starten Episoden aus Endzuständen einer separaten Policy zum Anheben von Objekten, und die Schwerkraft wird über ein Curriculum schrittweise eingeführt.

Wichtigste Erkenntnisse

Policies ohne Zugriff auf die Objektform orientieren viele ungesehene Objekte neu; mit nach oben gerichteter Hand wirft die gelernte Strategie das Objekt mit Drall und fängt es, wenn seine Orientierung dem Ziel entspricht.
Privilegierter Zustand wie Objekt- und Fingerspitzengeschwindigkeiten trainiert bessere Policies schneller, und DAgger-Destillation auf einen 31-dimensionalen reduzierten Zustand (Gelenkpositionen, Objektposition, Orientierungsdifferenz) erhält den Großteil der Erfolgsrate.
Mit nach unten gerichteter Hand und ohne Unterstützung ergibt direktes Training 0 % Erfolg; Episoden aus den Endzuständen einer Anhebe-Policy zu starten und ein Schwerkraft-Curriculum hinzuzufügen macht die Aufgabe lernbar.
Die Chamfer-Distanz zwischen aktueller und Ziel-Punktwolke des Objekts als zusätzlicher Erfolgstest behandelt symmetrische Objekte, deren unterschiedliche Orientierungen für die Kameras identisch aussehen.
Auf Objekten mit 50-150 g trainierte Policies orientieren YCB-Objekte, deren Masse auf 0,3-0,5 kg geändert wurde, zero-shot mit rund 75 % Erfolg neu.

Hauptergebnisse

Hand nach oben, RNN-Teacher mit vollem Zustand (trainiert und getestet ohne Domänenrandomisierung): 95,95 ± 0,8 % Erfolg auf EGAD und 80,40 ± 1,6 % auf YCB.
Hand nach oben, RNN-Student mit reduziertem Zustand: 91,96 ± 1,5 % auf EGAD und 81,04 ± 0,5 % auf YCB.
Hand nach unten über einem Tisch, MLP mit vollem Zustand: 95,31 ± 0,9 % (EGAD) und 81,59 ± 0,7 % (YCB); die zur Initialisierung verwendete Anhebe-Policy ist zu 97,80 % (EGAD) und 90,11 % (YCB) erfolgreich.
Hand nach unten in der Luft, Student mit reduziertem Zustand: 74,10 ± 2,3 % (EGAD) und 45,22 ± 2,1 % (YCB); mit dem Schwerkraft-Curriculum steigt YCB auf 67,33 ± 1,9 %.
Zero-Shot-Transfer zwischen Datensätzen, Hand nach oben, voller Zustand: 68,82 ± 1,7 % für EGAD→YCB und 96,41 ± 1,2 % für YCB→EGAD.
Objektspezifische Vision-Policies (θ̄ = 0,2 rad, Chamfer-Schwelle 0,01): 89,67 ± 1,2 % bei einem Becher und 84,52 ± 1,4 % bei einem Spielzeugflugzeug, 50,21-66,57 % bei symmetrischen Lego-Duplo-Teilen.

Einschränkungen

Alle Experimente finden in der Simulation statt (eine simulierte Shadow Hand in Isaac Gym); die Autoren beschränkten den Umfang wegen der Pandemie und liefern für den Transfer in die reale Welt nur indirekte Belege (Domänenrandomisierung und eine Analyse der Spitzendrehmomente).
Vision-Policies wurden wegen der Rechenkosten einzeln pro Objekt für sechs Objekte trainiert; eine Vision-Policy für viele Objekte bleibt künftiger Arbeit überlassen, wobei GPU-Speicher als Hauptengpass genannt wird.
Der Erfolg hängt stark von der Objektform ab: Lange, kleine oder dünne Objekte verursachen 60 % von 100 analysierten YCB-Fehlschlägen, und weitere 19 % enden nahe am Ziel, aber außerhalb der Schwelle von 0,1 rad.
Die Autoren schließen nicht vollständig aus, dass die Werfen-und-Fangen-Strategie den Simulator ausnutzt, obwohl ihre Kraftanalyse auf das Gegenteil hindeutet.
Die Neuorientierung mit nach unten gerichteter Hand ohne Unterstützung bleibt auf YCB deutlich unter dem Fall mit nach oben gerichteter Hand (45,22 % für den Student ohne Curriculum, 67,33 % mit).

Wirkung auf das Fachgebiet

Gewinner des CoRL 2021 Best Paper Award, mit 351 Zitationen. Die Arbeit veröffentlicht Videos der gelernten Policies auf ihrer Projektseite, und die offizielle Projektseite verlinkt ein Code-Repository (Improbable-AI/dexenv).

Zusammenfassung

Die Neuorientierung von Objekten in der Hand ist aufgrund des hochdimensionalen Aktuierungsraums und des häufigen Wechsels des Kontaktzustands zwischen den Fingern und den Objekten ein schwieriges Problem in der Robotik. Wir stellen ein einfaches modellfreies Framework vor, das lernen kann, Objekte sowohl mit nach oben als auch mit nach unten gerichteter Hand neu zu orientieren. Wir demonstrieren die Fähigkeit, in beiden Fällen über 2000 geometrisch unterschiedliche Objekte neu zu orientieren. Die gelernten Policies zeigen eine starke Zero-Shot-Transferleistung auf neue Objekte. Wir liefern Belege dafür, dass diese Policies für den Einsatz in der realen Welt geeignet sind, indem wir sie so destillieren, dass sie in der realen Welt leicht verfügbare Beobachtungen nutzen. Die Videos der gelernten Policies sind verfügbar unter: https://taochenshh.github.io/projects/in-hand-reorientation.

Open Source Robotics