Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

Autoren: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

UVD findet Teilziele in Demonstrationsvideos dort, wo die Distanzen vortrainierter visueller Embeddings aufhören zu sinken, und nutzt sie für zielkonditioniertes Imitationslernen und Reward Shaping.

Warum es wichtig ist

UVD benötigt nur Videodemonstrationen und einen handelsüblichen Encoder, und der Zerlegungsschritt fügt dem üblichen Policy-Training weniger als 0,1 s pro Trajektorie hinzu. So gefundene Teilziele ermöglichen es einer auf einigen Aufgabenreihenfolgen trainierten Policy, ungesehene Reihenfolgen derselben Teilaufgaben auszuführen, was den Bedarf verringert, für jede Aufgabensequenz Demonstrationen zu sammeln.

Problem

Manipulation mit langem Horizont leidet unter sich aufschaukelnden Fehlern, großen Beobachtungs- und Aktionsräumen und schwachen Lernsignalen, daher werden Aufgaben meist in Teilaufgaben aufgeteilt. Bestehende Zerlegungsmethoden benötigen aufgabenspezifisches Wissen, etwa Propriozeption oder eine bekannte Teilaufgabenstruktur, oder erfordern rechenintensive generative Modelle, die auf großen Datensätzen trainiert wurden, sodass sie nicht ohne Weiteres auf einfache Videodemonstrationen angewendet werden können.

Lösungsansatz

UVD nimmt einen eingefrorenen vortrainierten visuellen Encoder (etwa VIP, R3M oder LIV) und arbeitet vom letzten Frame aus rückwärts: Innerhalb einer Teilaufgabe sollte die Embedding-Distanz zum aktuellen Ziel monoton fallen, daher wird der späteste Frame, an dem diese Monotonie bricht, zum vorherigen Teilziel, und der Schritt wiederholt sich bis zum Anfang des Videos. Die entdeckten Teilziele labeln Demonstrationen für zielkonditioniertes Behavior Cloning neu und definieren eine RL-Belohnung als die Abnahme der Embedding-Distanz zum aktuellen Teilziel pro Schritt. Zur Testzeit stammen die Ziele aus einer Nächste-Nachbarn-Suche (einzelne Aufgabe) oder aus dem Weiterreichen einer gegebenen Teilzielsequenz.

Wichtigste Erkenntnisse

Repräsentationen, die auf kurzen Videos trainiert wurden, um Aufgabenfortschritt zu kodieren (VIP, R3M, LIV), liefern innerhalb einer Teilaufgabe nahezu monotone Embedding-Distanzen; über mehrere Teilaufgaben hinweg flacht die Distanzkurve bei Phasenwechseln ab, was Teilaufgabengrenzen ohne Labels markiert.
VIP und LIV, die explizit auf gleichmäßigen zeitlichen Fortschritt trainiert wurden, profitierten am meisten von UVD, was die These stützt, dass zeitlich trainierte Repräsentationen sich besser für die Entdeckung von Teilzielen eignen als Modelle für statische Bilder wie CLIP und DINOv2.
Heuristische Teilzielwahlen (ein Frame innerhalb eines festen Fensters voraus oder 3 bis 5 zufällige Frames) schnitten In-Domain vergleichbar ab, schadeten aber der Out-of-Domain-Generalisierung, weil sie redundante, weniger aussagekräftige Teilziele liefern.
Belohnungen, die relativ zum weit entfernten letzten Frame definiert waren, lenkten die RL-Exploration bei einer vierstufigen Aufgabe nicht; Belohnungen je Teilziel taten es.
Da Embeddings verrauscht sind, sind in der Praxis ein minimaler zeitlicher Abstand zwischen Teilzielen und eine Glättung der Distanzkurve (Nadaraya-Watson-Kernregression) nötig.

Hauptergebnisse

FrankaKitchen-Imitation mit VIP und GCBC: Der Out-of-Domain-Erfolg stieg von 0,035 auf 0,188 und die Out-of-Domain-Vervollständigung von 0,236 auf 0,566, bei unverändertem In-Domain-Erfolg (0,736 gegenüber 0,737).
Der Out-of-Domain-Erfolg verbesserte sich für jede getestete Repräsentation: R3M 0,014 auf 0,084, LIV 0,008 auf 0,066, CLIP 0,005 auf 0,073, DINOv2 0,012 auf 0,055 und mit einer Transformer-Policy im GPT-Stil auf VIP 0,039 auf 0,213.
FrankaKitchen-RL mit PPO: Zielkonditioniertes RL mit dem letzten Frame als Ziel erreichte 0,0 Erfolg; mit UVD-Belohnungen lag der mittlere/maximale Erfolg über 3 Seeds bei 0,65/1,0 mit VIP und 0,649/1,0 mit R3M.
Realer Franka, Out-of-Domain-Erfolg über 20 Rollouts (GCBC gegenüber GCBC + UVD): Apple-in-Oven 0,0 gegenüber 0,25, Fries-and-Rack 0,0 gegenüber 0,25, Fold-Cloth 0,0 gegenüber 0,15.
Bei menschlichen Eingriffen während der Ausführung (10 Rollouts) stieg der Erfolg bei Apple-in-Oven von 0,0 auf 0,5 und bei Fries-and-Rack von 0,2 auf 0,9.
Zerlegungszeit auf einer RTX A6000: 0,0023 s für eine FrankaKitchen-Episode mit durchschnittlich 227 Frames und 0,011 s für ein 720p-Video mit 698 Frames, nach der Kodierung (0,155 s und 0,450 s).

Einschränkungen

Nur bei vollständig beobachtbaren Manipulationsaufgaben validiert; die Autoren merken an, dass Navigation und andere teilweise beobachtete verkörperte Aufgaben möglicherweise keine intuitiven oder erklärbaren Teilziele ergeben.
Die realen Out-of-Domain-Tests sind kürzer als die Trainingsaufgaben: Weil die realen Teilaufgaben sequenziell voneinander abhängen, testen sie das Überspringen eines Schritts, den eine Person bereits erledigt hat.
Die Teilzielerkennung hängt von einem voreingestellten Mindestabstand zwischen Teilzielen und einem Glättungsschritt ab, und das Weiterreichen der Ziele bei der Inferenz hängt von einem Distanzschwellwert ab.
Die Evaluation am realen Roboter umfasst drei Aufgaben mit jeweils etwa 100 teleoperierten Demonstrationen und 20 Rollouts pro Einstellung.
Die Gewinne hängen von der Repräsentation ab: Der In-Domain-Erfolg mit CLIP und DINOv2 blieb zwischen 0,32 und 0,39.

Wirkung auf das Fachgebiet

Finalist für den IEEE ICRA 2024 Best Paper Award in Robot Vision, mit 44 Zitierungen. Die Arbeit verlinkt eine Projektseite und gibt im Anhang Python-Pseudocode der Zerlegung an; einen Link zu einem Code-Repository gibt sie nicht an.

Zusammenfassung

Reale Roboteraufgaben erstrecken sich über lange Zeithorizonte und umfassen mehrere Phasen. Das Erlernen von Manipulationsaufgaben mit langem Horizont ist jedoch eine seit Langem bestehende Herausforderung und erfordert, die übergeordnete Aufgabe in mehrere handhabbare Teilaufgaben zu zerlegen, um das Policy-Lernen und die Generalisierung auf ungesehene Aufgaben zu erleichtern. Bisherige Methoden zur Aufgabenzerlegung benötigen aufgabenspezifisches Wissen, sind rechenintensiv und lassen sich nicht ohne Weiteres auf neue Aufgaben anwenden. Um diese Schwächen zu beheben, schlagen wir Universal Visual Decomposer (UVD) vor, eine sofort einsetzbare Methode zur Aufgabenzerlegung für visuelle Manipulation mit langem Horizont, die vortrainierte, für die Robotersteuerung entworfene visuelle Repräsentationen nutzt. Grob gesagt entdeckt UVD Teilziele, indem es Phasenwechsel im Embedding-Raum der vortrainierten Repräsentation erkennt. Da UVD rein auf visuellen Demonstrationen ohne Zusatzinformationen arbeitet, kann es die in den Videos enthaltenen visuellen Teilziele wirksam extrahieren und verursacht dabei keinerlei zusätzliche Trainingskosten über das übliche Training visuomotorischer Policies hinaus. Zielkonditionierte Policies, die mit von UVD entdeckten Teilzielen gelernt werden, zeigen zur Testzeit eine deutlich verbesserte kompositionelle Generalisierung auf ungesehene Aufgaben. Darüber hinaus können von UVD entdeckte Teilziele verwendet werden, um zielbasiertes Reward Shaping zu konstruieren, das zeitlich ausgedehnte Exploration im Reinforcement Learning in Gang bringt. Wir evaluieren UVD umfassend sowohl in der Simulation als auch bei realen Aufgaben, und in allen Fällen übertrifft UVD die Baselines in Imitations- und Reinforcement-Learning-Settings bei In-Domain- wie Out-of-Domain-Aufgabensequenzen deutlich, was den klaren Vorteil automatisierter visueller Aufgabenzerlegung innerhalb des einfachen, kompakten UVD-Frameworks bestätigt.

Open Source Robotics