What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Autoren: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Sechs Offline-Lernalgorithmen, getestet auf 5 simulierten und 3 realen Manipulationsaufgaben: das historienabhängige BC-RNN lernt am besten aus menschlichen Demonstrationen, während Batch-RL mit menschlichen Daten Schwierigkeiten hat.

Warum es wichtig ist

Für alle, die teleoperierte Daten sammeln, liefert die Studie konkrete Einstellungen: eine historienabhängige Policy verwenden, eine Handgelenkkamera und Pixelverschiebungs-Bildrandomisierung einbeziehen, propriozeptive Eingaben schlank halten und damit rechnen, dass die Checkpoint-Auswahl nach Validierungsverlust eine schwächere Policy wählt. In der Simulation abgestimmte Hyperparameter wurden ohne Abstimmung in der realen Welt auf einen realen Franka-Arm angewandt und ergaben dennoch funktionierende Lift- und Can-Policies.

Problem

Für Imitationslernen und Batch-(Offline-)Reinforcement-Learning aus menschlichen Demonstrationen fehlten Open-Source-Datensätze mit menschlichen Daten und reproduzierbare Implementierungen für die Robotermanipulation, sodass schwer zu beurteilen war, welche Methoden und Designentscheidungen funktionieren. Menschliche Demonstrationen unterscheiden sich von maschinell erzeugten Daten: Sie sind möglicherweise nicht markovsch, ihre Qualität variiert zwischen Bedienern, und der Trainingsverlust ist nur ein Ersatz für die in der Evaluation verwendete Erfolgsrate der Aufgabe.

Lösungsansatz

Die Autoren sammelten über RoboTurk teleoperierte Demonstrationen für fünf simulierte Aufgaben (Lift, Can, Square, Transport, Tool Hang) als Proficient-Human-Datensätze eines einzelnen Bedieners (200 Demos) und Multi-Human-Datensätze von sechs Bedienern (300 Demos), dazu maschinell erzeugte Datensätze für Lift und Can sowie reale Datensätze mit 200 Demos auf einem Franka-Arm für Lift, Can und Tool Hang. Sie trainierten BC, BC-RNN, HBC, BCQ, CQL und IRIS auf niedrigdimensionalen und Bildbeobachtungen, evaluierten jeden Checkpoint online in der Simulation und variierten Beobachtungsraum, Hyperparameter, Datensatzgröße und die Regel zur Auswahl der Policy.

Wichtigste Erkenntnisse

Historienabhängige Modelle (BC-RNN, HBC, IRIS) lernen aus menschlichen Demonstrationen deutlich besser als einfaches BC; der Abstand zwischen BC-RNN und BC wächst mit dem Aufgabenhorizont (etwa 55 % bei Transport (PH) gegenüber etwa 5 % bei Square (PH)) und mit Daten mehrerer Bediener.
BCQ und CQL schneiden bei maschinell erzeugten Daten gemischter Qualität gut ab, aber schlecht bei menschlichen Datensätzen, selbst bei einem Diagnosedatensatz aus gepaarten erfolgreichen und gescheiterten Demonstrationen eines einzigen Bedieners.
Das Beobachtungsdesign ist wichtig: Das Hinzufügen von Endeffektorgeschwindigkeit oder Gelenkzuständen senkte die Leistung niedrigdimensionaler Agenten um 49 %–88 % (relativ), während das Entfernen der Pixelverschiebungs-Randomisierung oder der Handgelenkkamera Bildagenten schadete.
Die Auswahl eines Checkpoints nach niedrigstem Validierungsverlust oder nach der letzten Epoche ergab Policies, die 10 % bis 100 % schlechter waren als der beste Checkpoint, daher bleibt die Offline-Auswahl von Policies ein offenes Problem.
Einfache Aufgaben (Lift, Can) erreichten mit 20 % der Daten 75 %–100 % Erfolg, während sich komplexe Aufgaben (Square, Transport) mit wachsender Datenmenge weiter verbesserten.

Hauptergebnisse

BC-RNN auf niedrigdimensionalen Proficient-Human-Daten (3 Seeds): Lift 100 %, Can 100 %, Square 84,0 %, Transport 71,3 %, Tool Hang 19,3 %.
BC-RNN auf Bildbeobachtungen: Square (PH) 82,0 %, Transport (PH) 72,0 %, Tool Hang (PH) 67,3 %, gegenüber BCQ mit 41,3 %, 0,7 % und 3,3 %.
Auf niedrigdimensionalen Multi-Human-Daten erreichte BCQ 62,7 % bei Can und 14,0 % bei Square, gegenüber 100 % und 78,0 % für BC-RNN.
Auf den Square-Mischungen mit 200 Demos aus Bedienern unterschiedlicher Qualität erzielte BC-RNN 55,3 %, 73,3 % und 74,0 %, weniger als seine 84,0 % auf dem Square-(PH)-Datensatz eines einzelnen Bedieners mit 200 Demos.
Realer Franka-Arm, BC-RNN, letzter Checkpoint über 30 Rollouts, keine Abstimmung in der realen Welt: Lift 96,7 %, Can 73,3 %, Tool Hang 3,3 %.
Bei der realen Can-Aufgabe fiel der Erfolg ohne Pixelverschiebungs-Randomisierung auf 26,7 % und ohne Handgelenkkamera auf 43,3 %.

Einschränkungen

Die Simulationsergebnisse berichten den besten Checkpoint, der durch Online-Evaluation jedes Checkpoints gefunden wurde, was laut den Autoren auf einem realen Roboter nicht machbar ist; die realen Ergebnisse verwenden stattdessen den letzten Checkpoint.
Die realen Experimente umfassen drei Aufgaben mit je 30 Rollouts und keine Hyperparameterabstimmung in der realen Welt; die Autoren bezeichnen diese Ergebnisse als untere Schranke, und die reale Tool-Hang-Policy war in 3,3 % der Rollouts erfolgreich.
Maschinell erzeugte Datensätze gibt es nur für Lift und Can, da der RL-Agent die anderen Aufgaben selbst mit erheblicher Abstimmung nicht lösen konnte.
Die Studie vergleicht sechs bestehende Algorithmen, statt eine Lösung vorzuschlagen; das Schließen der Lücke von Batch-RL bei menschlichen Daten und eine bessere Offline-Auswahl von Policies bleiben künftiger Arbeit überlassen.
Die PMLR-Fassung verweist auf Anhänge (Aufgabendetails, Datensatzgrößen-Tables 27 und 28, BCQ- und CQL-Hyperparameter), die in ihr nicht enthalten sind.

Wirkung auf das Fachgebiet

548-mal zitiert (Zahl wie angegeben). Die Autoren veröffentlichten die Datensätze und alle Algorithmusimplementierungen als Open Source auf der Projektseite und stellten damit einen gemeinsamen Satz von Manipulationsaufgaben mit menschlichen Demonstrationen und Baselines für den Vergleich von Offline-Lernmethoden bereit.

Zusammenfassung

Das Imitieren menschlicher Demonstrationen ist ein vielversprechender Ansatz, um Roboter mit verschiedenen Manipulationsfähigkeiten auszustatten. Obwohl es jüngst Fortschritte beim Imitationslernen und beim Batch-(Offline-)Reinforcement-Learning gegeben hat, erschweren fehlende Open-Source-Datensätze mit menschlichen Daten und reproduzierbare Lernmethoden die Beurteilung des Stands des Feldes. In dieser Arbeit führen wir eine umfassende Studie von sechs Offline-Lernalgorithmen für Robotermanipulation auf fünf simulierten und drei realen mehrstufigen Manipulationsaufgaben unterschiedlicher Komplexität und mit Datensätzen unterschiedlicher Qualität durch. Unsere Studie analysiert die kritischsten Herausforderungen beim Lernen aus menschlichen Offline-Daten für die Manipulation. Auf Grundlage der Studie leiten wir eine Reihe von Lehren ab, darunter die Empfindlichkeit gegenüber verschiedenen algorithmischen Designentscheidungen, die Abhängigkeit von der Qualität der Demonstrationen und die Variabilität in Abhängigkeit von den Abbruchkriterien aufgrund der unterschiedlichen Ziele bei Training und Evaluation. Wir zeigen außerdem Chancen des Lernens aus menschlichen Datensätzen auf, etwa die Fähigkeit, leistungsfähige Policies für anspruchsvolle mehrstufige Aufgaben zu lernen, die über die Reichweite aktueller Reinforcement-Learning-Methoden hinausgehen, und die Fähigkeit, leicht auf natürliche, reale Manipulationsszenarien zu skalieren, in denen nur rohe Sensorsignale verfügbar sind. Wir haben unsere Datensätze und alle Algorithmusimplementierungen als Open Source veröffentlicht, um künftige Forschung und faire Vergleiche beim Lernen aus menschlichen Demonstrationsdaten zu erleichtern, unter https://arise-initiative.github.io/robomimic-web/

Open Source Robotics