Visuomotor Policy

Auch genannt: end-to-end visuomotor control, vision-based policy
Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

Eine Regelungs-Policy, die Kamerabilder, oft zusammen mit dem Gelenkzustand, direkt auf Roboteraktionen abbildet und Wahrnehmung und Regelung als ein einziges Modell lernt.

Definition

Eine visuomotorische Policy (visuomotor policy) nimmt visuelle Beobachtungen, meist ein oder mehrere Kamerabilder, oft kombiniert mit propriozeptivem Zustand wie Gelenkpositionen und Greiferöffnung, und gibt Motorbefehle aus: Gelenkmomente, Gelenkgeschwindigkeiten, Endeffektorposen oder Greiferbefehle. Wahrnehmung und Regelung werden gemeinsam gelernt, sodass die visuellen Merkmale, die die Policy extrahiert, davon geprägt sind, was ihr beim Handeln hilft, statt feste Ausgaben wie Objektposen aus einem separaten Wahrnehmungsmodul zu sein. Sergey Levine, Chelsea Finn und Kollegen machten den Begriff mit ihrer Arbeit von 2016 zum End-to-End-Training tiefer visuomotorischer Policies weithin gebräuchlich.

Die meisten visuomotorischen Policies werden durch Imitationslernen aus teleoperierten Demonstrationen, durch Reinforcement Learning oder durch eine Kombination beider trainiert. Typische Architekturen führen Bilder durch einen Convolutional- oder Transformer-Encoder, verbinden das Ergebnis mit der Propriozeption und dekodieren Aktionen mit einem mehrschichtigen Perzeptron, einem Transformer oder einem generativen Modell wie einer Diffusion Policy, die mehrere gültige Aktionen darstellen kann. Dateneffizienz ist das zentrale Problem: Bilder sind hochdimensional, Demonstrationen teuer, und Policies können sich an irrelevante Details wie Beleuchtung oder Hintergrund klammern.

Ein großer Teil der Arbeiten begegnet dem, indem der visuelle Encoder auf anderen Daten vortrainiert wird, etwa auf großen Bilddatensätzen oder Videos von Menschen, und dann nur ein kleiner Policy-Kopf auf Roboterdemonstrationen trainiert wird. Wie gut visuomotorische Policies mit wenigen Demonstrationen auf einem eingefrorenen Encoder lernen, ist zu einer gängigen Methode geworden, solche Repräsentationen zu bewerten. Andere Verfahren ergänzen Datenaugmentierung, mehrere Kameraperspektiven einschließlich Handgelenkkameras und Action Chunking, um sich aufsummierende Fehler zu verringern. Vision-Language-Action-Modelle erweitern die Idee, indem sie die Policy zusätzlich auf Sprachanweisungen konditionieren.

Warum es wichtig ist

Visuomotorische Policies lassen Roboter Aufgaben bewältigen, bei denen sich der relevante Zustand schwer von Hand modellieren lässt, etwa verformbare Objekte, Unordnung oder präzises Einfügen, indem sie direkt aus Pixeln lernen. Sie bilden den Kern der meisten aktuellen Imitationslernsysteme für Manipulation.

Wichtige Anwendungen

Imitationslernen für Manipulation auf dem Tisch und in der Küche
Greifen und Pick-and-Place aus Kameraeingaben
Umgang mit verformbaren Objekten, etwa Falten von Kleidung
Bewertung vortrainierter visueller Repräsentationen für die Robotik
Steuerung von Drohnen und Fahrzeugen über Bordkameras

In der Praxis

Ein Team, das einem Roboterarm beibringt, eine Tasse an einen Ständer zu hängen, sammelt teleoperierte Demonstrationen mit einer festen Szenenkamera und einer Handgelenkkamera und zeichnet Bilder, Gelenkpositionen und befohlene Endeffektorbewegungen auf. Es trainiert eine Policy, die jedes Bild mit einem vortrainierten Vision-Backbone kodiert, die Merkmale mit dem Gelenkzustand verkettet und einen kurzen Block zukünftiger Aktionen vorhersagt. Zufällige Ausschnitte und Farbjitter beim Training helfen der Policy, kleine Kameraverschiebungen und Beleuchtungsänderungen zu ignorieren. Auf dem Roboter läuft die Policy im geschlossenen Regelkreis mit der Bildrate der Kamera, und das Team testet sie mit Tassen an neuen Positionen und mit Störobjekten, um zu prüfen, ob sie die richtigen Bildbereiche beachtet.

Häufige Missverständnisse

Visuomotorische Policies verwenden nur Bilder — die meisten kombinieren Bilder mit Propriozeption, die für präzise Regelung oft entscheidend ist
End-to-End bedeutet, dass es keine Entwurfsentscheidungen gibt — Architektur, Aktionsdarstellung, Kameraplatzierung und vortrainierte Encoder beeinflussen die Ergebnisse alle stark
Eine Policy, die in den Trainingsszenen funktioniert, funktioniert auch in neuen — visuomotorische Policies sind empfindlich gegenüber Beleuchtung, Hintergründen und Kamerapose, sofern sie nicht für diese Variation trainiert wurden

Wer das wissen sollte

Forschende im Roboterlernen
Manipulationsingenieure, die Imitationslernsysteme bauen
Forschende in Computer Vision, die an Repräsentationen für die Robotik arbeiten
Teams, die Roboter-Demonstrationsdaten sammeln

Videos

End-to-End Training of Deep Visuomotor Policies: RAIL
Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated

Open Source Robotics