APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

Autoren: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

APriCoT teilt ein Umgreifen in der Hand in vier kurze RL-Primitive aus Lösen, Überkreuzen und Anlegen auf, sodass eine simulierte Shadow Hand Lite ein Objekt um eine halbe Drehung wendet und den Zielgriff erreicht.

Warum es wichtig ist

Die meisten gelernten In-Hand-Manipulationen belohnen allein die Drehung und prüfen nicht den Endgriff, der darüber entscheidet, ob das Werkzeug anschließend benutzt werden kann. Das Paper zeigt, dass die Zerlegung nach Kontaktzustand diese Aufgabe lernbar macht, wo zwei veröffentlichte Baselines scheiterten. Da die Belohnung über die Primitive geteilt wird, lassen sich neue Übergänge ohne neues Belohnungsdesign hinzufügen.

Problem

In-Hand-Werkzeugmanipulation muss ein Werkzeug in der Hand bewegen und zugleich in einem Griff enden, der zur nächsten Aufgabe passt, etwa eine Schachtel so halten, dass ihre Öffnung zum Ausgießen frei ist. Dies mit RL zu lernen ist schwierig, weil der Zielgriff erst nach vielen Kontaktzustandsänderungen erreicht wird, was die Belohnung spärlich macht, und weil die nötigen Fingerbewegungen je nach Kontaktzustand stark variieren, was eine breite und stichprobenineffiziente Erkundung erzwingt.

Lösungsansatz

APriCoT baut aus drei Aktionsrepräsentationen (Lösen, Überkreuzen, Anlegen) einen Kontaktzustands-Übergangsgraphen auf und lässt nur Zustände mit umschließendem Griff, mindestens drei Fingern in Kontakt und Fingern in der Reihenfolge Daumen-Zeige-Mittel-Ringfinger zu. Die Zielaufgabe, ein längliches Objekt um eine halbe Drehung zu wenden und zum Präzisionsgriff zurückzukehren, zerfällt in vier Primitive, die jeweils einen Finger über das Objekt führen, mit einer Policy je Primitiv, einer gemeinsamen schrittweisen Belohnung und jeder Policy ausgehend von den Ausgabezuständen der vorherigen. Die Policies werden in Isaac Gym mit PPO in einem Teacher-Student-Aufbau trainiert, in dem der Student die Objektform aus kommandierten und gemessenen Gelenkwinkeln ableitet.

Wichtigste Erkenntnisse

Die Beschreibung eines Umgreifens als Kontaktzustandsübergänge macht aus einer langen Aufgabe mit spärlicher Belohnung kurze Primitive, in denen die Finger ähnliche Bewegungen ausführen.
Jedes Primitiv im stabilsten Zustand mit allen Fingern am Objekt zu beginnen und zu beenden, macht Anfangszustände in der Simulation leicht abtastbar und Policies leicht verkettbar.
Jedes Primitiv auf der gesamten Folge Lösen-Überkreuzen-Anlegen zu trainieren statt jeden Schritt einzeln, vermeidet überflüssige Bewegungen wie ein zu hohes Anheben eines Fingers vor dem Überkreuzen.
Die Differenz zwischen kommandierten und gemessenen Gelenkwinkeln erlaubt der Student-Policy, die Objektform zu kodieren; ein t-SNE ihrer latenten Variablen gruppiert sich nach Form.

Hauptergebnisse

Beide Baselines scheiterten an der Aufgabe: Eine modifizierte Methode zur In-Hand-Rotation (Baseline A) drehte das Objekt, erreichte aber nicht den gewünschten Griff, und eine Methode für greifbare Objekte (Baseline B) rollte das Objekt beim Überkreuzen und ließ es fallen.
APriCoT vollendete die halbe Drehung und erreichte den gewünschten Präzisionsgriff; die Einleitung nennt eine Erfolgsrate von 90 % für Objekte verschiedener Formen.
Im Robustheitstest (1.000 abgetastete Anfangszustände je Form, Tiefe 0,02-0,035 m, ε2 von ≃0 bis 1) berichtet Abschnitt IV-B über 90 % Erfolg für fast alle Formen, mit ähnlichen Raten bei im Training nicht verwendeten Formen.
Abschnitt IV-B berichtet außerdem etwa 75 % Erfolg bei dicken elliptischen Objekten (große Tiefe, hohes ε2), was die Autoren darauf zurückführen, dass sie wegen der Krümmung seitlich wegrutschen.
Das Training lief mit 32.768 parallelen Umgebungen in Isaac Gym auf einer NVIDIA RTX 3090 GPU, mit 120 Hz Simulation und 20 Hz Regelung.

Einschränkungen

Alle Experimente finden in der Simulation statt; die Autoren erwarten, dass Domain Randomization und Teacher-Student-Lernen den Sim-to-Real-Transfer unterstützen, testeten aber nicht auf Hardware.
Objektposen wie die Rollrotation lassen sich nicht allein aus Gelenkwinkeln erkennen, und wenn sie übersehen werden, kann das Objekt instabil werden und herunterfallen; die Autoren planen, visuelle Information hinzuzufügen.
Die Beschränkung auf Kontaktzustandsübergänge garantiert keine gewünschte Objektorientierung nach der Manipulation.
Der Kontaktzustands-Übergangsgraph wird von Hand entworfen, was die Autoren über viele Operationen hinweg als arbeitsintensiv bezeichnen.
Nur eine Operation (eine halbe Drehung zurück zum Präzisionsgriff, vier Primitive) wird demonstriert.

Wirkung auf das Fachgebiet

Gewinner des Humanoids 2024 Best Oral Presentation Award und 2-mal zitiert. Das Paper nennt seine Belohnungs-Hyperparameter, Randomisierungsbereiche und Netzgrößen. Eine Veröffentlichung von Code oder Modell wird nicht angegeben.

Zusammenfassung

In-Hand-Werkzeugmanipulation ist eine Operation, die ein Werkzeug nicht nur in der Hand manipuliert (d. h. In-Hand-Manipulation), sondern nach der Manipulation auch einen für eine Aufgabe geeigneten Griff erreicht. Diese Studie zielt darauf ab, eine Fertigkeit zur In-Hand-Werkzeugmanipulation durch Deep Reinforcement Learning zu erlernen. Die Schwierigkeit beim Erlernen der Fertigkeit ergibt sich daraus, dass diese Manipulation (A) die Erkundung langfristiger Kontaktzustandsänderungen erfordert, um den gewünschten Griff zu erreichen, und (B) sehr unterschiedliche Bewegungen je nach Kontaktzustandsübergang verlangt. (A) führt zu einer spärlichen Belohnung für einen erfolgreichen Griff, und (B) erfordert, dass ein RL-Agent breit im Zustands-Aktions-Raum erkundet, um sehr unterschiedliche Aktionen zu lernen, was zu geringer Stichprobeneffizienz führt. Um diese Probleme anzugehen, schlägt diese Studie Action Primitives based on Contact-state Transition (APriCoT) vor. APriCoT zerlegt die Manipulation in kurzfristige Aktionsprimitive, indem es die Operation als Kontaktzustandsübergang auf Basis von drei Aktionsrepräsentationen (Lösen, Überkreuzen, Anlegen) beschreibt. In jedem Aktionsprimitiv müssen die Finger kurzfristige und ähnliche Aktionen ausführen. Durch das Training einer Policy für jedes Primitiv können wir die Probleme aus (A) und (B) abmildern. Diese Studie konzentriert sich auf eine grundlegende Operation als Beispiel für In-Hand-Werkzeugmanipulation: das Drehen eines länglichen, im Präzisionsgriff gehaltenen Objekts um eine halbe Drehung, um den Ausgangsgriff zu erreichen. Die experimentellen Ergebnisse zeigten, dass unser Ansatz im Gegensatz zu bestehenden Studien sowohl bei der Drehung als auch beim Erreichen des gewünschten Griffs erfolgreich war. Zudem zeigte sich, dass die Policy robust gegenüber Änderungen der Objektform war.

Open Source Robotics