Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

Autoren: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein RL-Agent wählt zwischen handkodierten Primitiven für Hinlangen, Greifen, Schieben und Loslassen oder einer rohen Motoraktion und setzt deren Parameter, was die Last der Exploration bei Manipulation mit langem Horizont verringert.

Warum es wichtig ist

Die Robotik verfügt bereits über zuverlässige Module zum Greifen und Hinlangen, und diese Arbeit zeigt, dass ein generischer RL-Algorithmus lernen kann, sie ohne handgeschriebenen Aufgabenplan aneinanderzureihen. Da die Policy über Primitive handelt, ließ sich dieselbe Policy von der Simulation auf einen realen Roboter übertragen, sobald die Primitive auf der Hardware neu implementiert waren.

Problem

Tiefes bestärkendes Lernen tut sich bei Manipulation mit langem Horizont schwer, weil der Roboter einen sehr großen Raum niedrigstufiger Motoraktionen explorieren muss. Hierarchische RL-Methoden, die Fertigkeiten von Grund auf lernen, benötigen viele Samples, während Task-and-Motion-Planning und neuronale Programmierung auf Domänenwissen oder menschliche Aufsicht angewiesen sind, um vorgefertigte Module zusammenzusetzen.

Lösungsansatz

MAPLE fasst die Steuerung als MDP mit parametrisierten Aktionen: In jedem Schritt wählt eine übergeordnete Aufgaben-Policy ein Primitiv (Hinlangen, Greifen, Schieben, Öffnen des Greifers oder eine einzelne atomare Aktion), und ein Parameter-Teilnetz pro Primitiv setzt dessen Eingaben, etwa eine Zielposition und einen Gierwinkel. Beide werden mit einem modifizierten Soft Actor-Critic trainiert, und ein analytischer Affordanzwert, der zur Belohnung addiert wird, lenkt die Primitivparameter auf relevante Objekte. Die Beibehaltung der atomaren Aktion lässt den Agenten Phasen bewältigen, die die Primitive nicht ausdrücken können, etwa kontaktreiches Einsetzen.

Wichtigste Erkenntnisse

Eine hierarchische Policy, die zuerst das Primitiv und dann seine Parameter wählt, übertraf eine flache Policy, die Typ und Parameter unabhängig voneinander sampelt
Für Peg Insertion war es nötig, das atomare Primitiv beizubehalten: Die Variante ohne es erreichte 0 %, MAPLE dagegen 100 %
Ohne Affordanz-Belohnungen oder ohne das Hinlang- oder Greifprimitiv konnte der Agent Pick and Place nicht lösen
Ein auf der Levenshtein-Distanz beruhender Kompositionalitätswert über gelernte Primitivsequenzen ist bei kontaktreichen Aufgaben (Peg Insertion 0,24, Wipe 0,67) niedriger als bei Greifaufgaben (Lift und Door 1,0)
Eine gelernte Aufgabenskizze lässt sich bei einer ähnlichen Aufgabe wiederverwenden, sodass nur die Primitivparameter gelernt werden müssen

Hauptergebnisse

Durchschnittliche finale Erfolgsquote über acht simulierte Aufgaben: MAPLE 90 %, Atomic SAC 19 %, Flat 36 %, Open Loop 41 %, DAC 11 %, MAPLE ohne atomare Aktionen 79 %
Der Zugewinn gegenüber der Atomic-Baseline wird in der Einleitung als Steigerung um 70 % und im Ergebnisteil als um 71 % höhere Erfolgsquote bei 2-3× höheren Belohnungen angegeben
Das Paper beschreibt MAPLE als einzige Methode, die alle Einarm-Aufgaben des Standard-Benchmarks robosuite durchgängig löste
Die Übertragung der Aufgabenskizze von Pick and Place mit einer Getränkedose auf eine Variante mit Brot lernte die Zielaufgabe mehr als 5× schneller als Training von Grund auf
Erfolg in der realen Welt über 30 Durchläufe pro Aufgabe: 93 % bei Stack (97 % in der Simulation) und 83 % bei Cleanup (93 % in der Simulation)
HIRO machte keine Fortschritte und wurde in den Ergebnissen weggelassen

Einschränkungen

Die Autoren geben an, dass atomare Aktionen kleine Lücken füllen können, aber keine großen, die viele niedrigstufige Aktionen erfordern, und dass mehr Arbeit zu Exploration und Credit Assignment nötig ist
Affordanzwerte werden von Hand aus Objektzuständen definiert; die Autoren nennen gelernte Affordanzen als künftige Arbeit
Wipe bleibt schwierig: MAPLE erreicht dort 42 % Erfolg
In den Tests in der realen Welt wurden Nick- und Gierwinkel sowie Tischhöhe der Objekte fest einprogrammiert, um Fehler der Posenschätzung zu umgehen, und Verdeckungen erforderten eine Routine aus Anheben und erneutem Schätzen
Fehlschläge in der realen Welt rührten meist von wiederholt schlechten Griffen her oder davon, dass der Roboter an Gelenkgrenzen stieß und einen Sicherheitsstopp auslöste

Wirkung auf das Fachgebiet

Gewinner des ICRA 2022 Outstanding Learning Paper award, mit 155 Zitierungen. Die Autoren veröffentlichen Code und Videos auf der Projektseite.

Zusammenfassung

Realistische Manipulationsaufgaben erfordern, dass ein Roboter mit einer langen Abfolge von Motoraktionen mit seiner Umgebung interagiert. Zwar haben sich Methoden des tiefen bestärkenden Lernens jüngst als vielversprechendes Paradigma zur Automatisierung von Manipulationsverhalten herausgestellt, doch scheitern sie bei Aufgaben mit langem Horizont meist an der Last der Exploration. Diese Arbeit stellt MAnipulation Primitive-augmented reinforcement LEarning (MAPLE) vor, ein Lernrahmenwerk, das Standardalgorithmen des bestärkenden Lernens um eine vordefinierte Bibliothek von Verhaltensprimitiven erweitert. Diese Verhaltensprimitive sind robuste Funktionsmodule, die auf das Erreichen von Manipulationszielen wie Greifen und Schieben spezialisiert sind. Um diese heterogenen Primitive zu nutzen, entwickeln wir eine hierarchische Policy, die die Primitive einbezieht und ihre Ausführung mit Eingabeparametern instanziiert. Wir zeigen, dass MAPLE Baseline-Ansätze auf einer Reihe simulierter Manipulationsaufgaben deutlich übertrifft. Außerdem quantifizieren wir die kompositionelle Struktur der gelernten Verhaltensweisen und heben die Fähigkeit unserer Methode hervor, Policies auf neue Aufgabenvarianten und auf physische Hardware zu übertragen. Videos und Code sind verfügbar unter https://ut-austin-rpl.github.io/maple

Open Source Robotics