Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

Autoren: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

Lizenzen

Open Access
Paper: CC0 1.0 Universal

Alles Folgende stützt sich auf das vollständige Paper, das die Autoren unter CC0 1.0 Universal freigegeben haben; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

FISH ergänzt eine feste Open-Loop- oder Nächste-Nachbarn-Basis-Policy um ein gelerntes Residuum, belohnt durch Optimal-Transport-Abgleich mit 1–3 Demonstrationen, und passt sich in ≤20 Minuten an ungesehene Objektpositionen an.

Warum es wichtig ist

Die einzige Aufgabeneingabe sind weniger als eine Minute Demonstrationen: keine Zustandsschätzung, keine von Hand gebaute Belohnung und kein großer Demonstrationsdatensatz, wobei das Online-Training auf 20 Minuten begrenzt ist. Da nur das Residuum gelernt wird, kann die Exploration auf ausgewählte Aktionsdimensionen beschränkt werden, wodurch, wie die Autoren zeigen, die unsicheren Fingerkollisionen und Posen vermieden wurden, die auftraten, als ROT auf der Allegro Hand alle Dimensionen explorierte.

Problem

Visuelle Imitations-Policies benötigen viele Demonstrationen, um Variationen wie die Objektposition abzudecken; die Arbeit nennt MIME mit 400 Demonstrationen pro Aufgabe und robomimic mit 200. Die Anpassung einer Offline-Policy mit Online-RL kann das verringern, doch RL braucht eine Belohnung, und aufgabenspezifische Belohnungen sind schwer zu bauen, wenn sich Objektzustände nicht schätzen lassen.

Lösungsansatz

FISH arbeitet in zwei Phasen. Zuerst wird eine schwache nichtparametrische Basis-Policy (Open-Loop-Wiedergabe oder Nächste-Nachbarn-Abruf mit VINN) an etwa eine Minute Demonstrationen (1–3 Trajektorien) angepasst. Danach fügt eine mit n-step DDPG trainierte Residual-Policy der Basisaktion korrigierende Offsets hinzu, belohnt durch einen Sinkhorn-Optimal-Transport-Abgleich zwischen den Kamerabeobachtungen des Roboters und der Demonstration, berechnet mit einem eingefrorenen Encoder aus dem Behavior Cloning.

Wichtigste Erkenntnisse

Die Basis-Policy festzuhalten und nur Residual-Offsets zu lernen, schlug das Online-Feintuning einer BC-Policy (ROT) bei jeder Aufgabe in Table I.
Nichtparametrische Basis-Policies (VINN, Open-Loop) funktionierten in diesem Regime mit wenigen Daten besser als parametrisches BC; BC schnitt im 16-dimensionalen Aktionsraum der Allegro Hand schlecht ab.
Encoder, die per Behavior Cloning auf den wenigen domäneninternen Demonstrationen trainiert wurden, lieferten bessere Ergebnisse als ImageNet-, R3M- oder MVP-Encoder, die auf großen domänenfremden Daten vortrainiert wurden.
Sowohl das Einfrieren des Encoders (damit die OT-Belohnungen stationär bleiben) als auch die Konditionierung des Residuums auf die Basisaktion sind nötig; das Weglassen eines von beiden senkte den Erfolg (Table V).
Die Beschränkung der Residual-Exploration auf ausgewählte Aktionsachsen verbesserte die Sample-Effizienz, während eine adaptive Regularisierung der Offsets in Richtung null die Leistung verschlechterte.

Hauptergebnisse

Mittlere Erfolgsrate von 93 % über 9 reale Aufgaben an 3 Robotern, etwa 3,8× höher als bei früheren Methoden (Abstract); die Einleitung formuliert dieselbe Zahl als '93 % Verbesserung der Erfolgsrate' bei 20 Minuten Online-Interaktion.
Table I: 1,0 beim Öffnen einer Tür, beim Öffnen einer Schublade und beim Betätigen eines Lichtschalters (Stretch, je 5 Versuche) sowie beim Umdrehen eines Würfels und beim Drehen eines Flaschendeckels (Allegro Hand); 0,8 beim Aufnehmen eines Geldscheins, 0,9 bei Stift-in-Becher und beim Wenden eines Bagels, 0,8 beim Einstecken eines Schlüssels (je 10 Versuche).
Die beste Baseline erreicht bei keiner einzelnen Aufgabe in Table I mehr als 0,6 (ROT beim Lichtschalter und beim Einstecken des Schlüssels); beim Öffnen der Tür, beim Öffnen der Schublade, beim Umdrehen des Würfels und beim Drehen des Flaschendeckels übersteigt keine Baseline 0,2.
Ohne adaptive Offset-Regularisierung lag der Erfolg beim Wenden des Bagels bei 0,9 und beim Aufnehmen des Geldscheins bei 0,8, gegenüber 0,4 und 0,4 mit ihr (Table II).
Der Ersatz des BC-Encoders durch vortrainierte Encoder senkte das Wenden des Bagels von 0,9 auf 0,0 (ImageNet), 0,0 (R3M) und 0,3 (MVP) und das Aufnehmen des Geldscheins von 0,8 auf 0,0, 0,1 und 0,0 (Table IV).
Bei neuen Objekten nach 5 Minuten Online-Lernen reichte der Erfolg bei Broten von 0,9 bis 0,0 und bei Geldscheinen und Karten von 0,8 bis 0,0; ein weiches Fladenbrot und ein dickes Portemonnaie scheiterten vollständig (Fig. 8).

Einschränkungen

OT-Belohnungen gleichen den Roboter an die Demonstrationen an, daher setzt die Methode voraus, dass die demonstrierende Person ein Experte ist (laut den Autoren).
Reine Visionseingaben erschweren präzise Aufgaben mit schwachen visuellen Signalen, etwa das Finden eines Schlüssellochs, das nur einen winzigen Teil des Bildes einnimmt; die Autoren schlagen taktile Sensorik vor (laut den Autoren).
Die Residual-Policy wird zufällig initialisiert; die Autoren merken an, dass ihr Vortraining bei schwierigeren Aufgaben helfen könnte, die präzisere Regelung erfordern (laut den Autoren).
Der Erfolg sinkt, je stärker sich Objekte vom demonstrierten unterscheiden, bis hin zum vollständigen Scheitern bei einem Fladenbrot und einem Portemonnaie.
Jede Aufgabe wird an 10 Objektpositionen (xArm, Allegro Hand) oder 5 Roboterinitialisierungen (Stretch) evaluiert.

Wirkung auf das Fachgebiet

Gewinnerin des RSS 2023 Best Student Paper Award, mit 113 Zitationen. Die Autoren veröffentlichen Code und Robotervideos über fast-imitation.github.io, und die Projektseite verlinkt das Code-Repository.

Zusammenfassung

Imitationslernen bietet uns zwar ein effizientes Werkzeug zum Trainieren von Robotern, doch das Erlernen von Fähigkeiten, die robust gegenüber Umgebungsvariationen sind, bleibt eine erhebliche Herausforderung. Aktuelle Ansätze begegnen dieser Herausforderung, indem sie sich entweder auf große Mengen an Demonstrationen stützen, die die Umgebungsvariationen abdecken, oder auf von Hand entworfene Belohnungsfunktionen, die Zustandsschätzungen erfordern. Beide Richtungen sind für schnelle Imitation nicht skalierbar. In dieser Arbeit stellen wir Fast Imitation of Skills from Humans (FISH) vor, einen neuen Ansatz des Imitationslernens, der robuste visuelle Fähigkeiten mit weniger als einer Minute menschlicher Demonstrationen lernen kann. Ausgehend von einer schwachen Basis-Policy, die durch Offline-Imitation von Demonstrationen trainiert wurde, berechnet FISH Belohnungen, die der "Übereinstimmung" zwischen dem Verhalten des Roboters und den Demonstrationen entsprechen. Diese Belohnungen werden dann verwendet, um eine Residual-Policy adaptiv zu aktualisieren, die zur Basis-Policy hinzukommt. Über alle Aufgaben hinweg benötigt FISH höchstens zwanzig Minuten interaktiven Lernens, um Demonstrationen bei Objektkonfigurationen zu imitieren, die in den Demonstrationen nicht vorkamen. Wichtig ist, dass FISH vielseitig konstruiert ist, sodass es über Robotermorphologien (z. B. xArm, Allegro, Stretch) und Kamerakonfigurationen (z. B. Third-Person, Eye-in-Hand) hinweg eingesetzt werden kann. Unsere experimentellen Evaluationen an 9 verschiedenen Aufgaben zeigen, dass FISH eine mittlere Erfolgsrate von 93 % erreicht, was etwa 3,8× höher ist als bei bisherigen State-of-the-Art-Methoden.

Open Source Robotics