Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

Autoren: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

LIRF trainiert eine zweite Policy, die auf ein Ergebnis einwirkt (zieht an einer Tür, stupst einen Turm an, dreht ein Ventil), um Erfolg von Misserfolg zu unterscheiden, und verwendet ihr Urteil als Belohnung für die Aufgaben-Policy.

Warum es wichtig ist

Die Aufgabenspezifikation benötigt weiterhin nur Erfolgsbeispiele, ohne Demonstrationen, entworfene Belohnungen oder zusätzliche Sensoren, funktioniert aber auch dann, wenn der Erfolg nicht sichtbar ist. Die gelernten Prüfungen lassen sich zudem im Einsatz wiederverwenden, um unvollständige Ausführungen zu erkennen und die Aufgaben-Policy einen neuen Versuch machen zu lassen.

Problem

Verfahren mit beispielbasierter Belohnung spezifizieren eine Aufgabe über Bilder erfolgreicher Ergebnisse, doch viele Ergebnisse lassen sich anhand eines passiven Bildes nicht beurteilen: Ein lockerer Flaschendeckel sieht aus wie ein fester, und eine Türfalle kann hinter der Tür verborgen sein. Dieses State Aliasing lässt bildbasierte Erfolgsklassifikatoren bei teilweise beobachtbaren Aufgaben scheitern.

Lösungsansatz

Der Roboter erhält physische, 'handhabbare' Erfolgsbeispiele, und eine Policy als interaktive Belohnungsfunktion (IRF) wird mit SAC so trainiert, dass sie auf diese und auf Fehlschläge einwirkt, die eine anfängliche, mit VICE trainierte Aufgaben-Policy erzeugt, sodass ein Klassifikator für einzelne Beobachtungen sie anschließend unterscheiden kann. Das Urteil der IRF wird zur terminalen Belohnung für das Training der endgültigen Aufgaben-Policy, und dieselbe IRF kann nach der Ausführung in einer Ausführen-Prüfen-Schleife laufen, bis sie die Aufgabe als erledigt beurteilt.

Wichtigste Erkenntnisse

Interaktion kann verborgenen Aufgabenerfolg aufdecken: Die gelernten IRFs ziehen an der Tür, stupsen den untersten Block des Turms an oder üben ein kleines Drehmoment gegen den Uhrzeigersinn auf das Ventil aus.
Klassifikatoren auf einzelnen Beobachtungen leiden unter State Aliasing, weshalb VICE und GAIfO bei diesen teilweise beobachtbaren Aufgaben schlecht abschneiden.
Ein Klassifikator, der auf eine einzige Beobachtung nach der Interaktion angewendet wird, genügt, um das Ergebnis zu labeln; ein Klassifikator über die gesamte IRF-Trajektorie ist nicht nötig.
Die IRF verwendet keine privilegierten Informationen und kann daher nach dem Training als Verifikator im Regelkreis dienen.
Eine gelernte IRF war gleichwertig mit oder besser als von Hand programmierte interaktive Prüfungen (Manual IRF).

Hauptergebnisse

Aufgabenerfolg für LIRF / LIRF+Verify (Table 1): Verriegeln der Tür 0,640 / 0,958, Stapeln von Blöcken 0,846 / 0,884, Schrauben am realen Roboter 0,82 / 0,99.
VICE erreicht bei denselben drei Aufgaben 0,032, 0,310 und 0,02, GAIfO 0,112, 0,275 und 0,0.
Belohnung aus dem Ground-Truth-Zustand ergibt 0,714 (Tür), 0,956 (Blöcke) und 0,87 (Schrauben): LIRF+Verify übertrifft sie beim Verriegeln der Tür und beim Schrauben, nicht aber beim Stapeln der Blöcke, obwohl der Text angibt, dass LIRF+Verify alle Baselines übertrifft.
Genauigkeit der IRF bei der Erfolgsklassifikation: 0,992 ± 0,006 beim Verriegeln der Tür, 0,852 ± 0,023 beim Stapeln der Blöcke und 0,98 beim Schrauben (Table 2).
Benötigte handhabbare Positivbeispiele: 1 beim Schrauben, 110 beim Verriegeln der Tür und 7k beim Stapeln der Blöcke.
Das Training dauerte etwa 2M Simulationsschritte für die LIRF-Policies zum Verriegeln der Tür und zum Stapeln, 50k Schritte (etwa 10 Stunden am realen Roboter) für das Schrauben und etwa 20k Schritte für jede IRF-Policy.

Einschränkungen

LIRF hilft am meisten, wenn mit Einzelbild-Belohnungen trainierte Aufgaben-Policies meistens scheitern; in vollständig beobachtbaren Umgebungen bringen IRFs nur geringen oder keinen Nutzen (laut den Autoren).
Positivbeispiele müssen physisch aufbewahrt und dem Roboter vorgelegt werden; das ist beim Schrauben (1 Beispiel) einfach, beim Stapeln der Blöcke (7k) aber umständlich (laut den Autoren).
In beiden simulierten Aufgaben 'imitieren die Beobachtungen perfektes Sehen' (Posen von Objekt und Roboter) statt Kamerabilder zu sein.
Der Test am realen Roboter ist eine einzige Aufgabe zum Drehen eines Ventils, wobei das Festziehen einer Schraube durch einen Motor unter dem Ventil nachgebildet wird.

Wirkung auf das Fachgebiet

Gewinnerin des CoRL 2022 Best Paper Award, mit 6 Zitationen. Die Arbeit gibt an, dass der gesamte Code und alle Umgebungen veröffentlicht werden, und die offizielle Projektseite verlinkt ein öffentliches Code-Repository.

Zusammenfassung

Physische Interaktionen können oft helfen, Informationen aufzudecken, die nicht ohne Weiteres ersichtlich sind. Zum Beispiel ziehen wir an einem Tischbein, um zu beurteilen, ob es gut gebaut ist, oder drehen eine Wasserflasche auf den Kopf, um zu prüfen, ob sie dicht ist. Wir schlagen vor, Roboter so zu trainieren, dass sie solche interaktiven Verhaltensweisen automatisch erwerben, um das Ergebnis einer versuchten Ausführung einer Roboterfähigkeit zu beurteilen. Diese Beurteilungen dienen wiederum als "interaktive Belohnungsfunktionen" (IRFs) für das Training von Reinforcement-Learning-Policies, die die Zielfähigkeit ausführen, etwa das Tischbein fest anzuschrauben. Darüber hinaus können IRFs auch nach dem vollständigen Training der Aufgaben-Policies als Verifikationsmechanismen dienen, die die Online-Ausführung der Aufgabe verbessern. Für jede gegebene Aufgabe lassen sich unsere IRFs bequem nur mit Beispielen erfolgreicher Ergebnisse trainieren, und danach ist keine weitere Spezifikation nötig, um die Aufgaben-Policy zu trainieren. In unseren Evaluationen zum Verriegeln einer Tür und zum Stapeln gewichteter Blöcke in der Simulation sowie zum Anziehen einer Schraube auf einem realen Roboter ermöglichen IRFs große Leistungsverbesserungen und übertreffen sogar Baselines, die Zugang zu Demonstrationen oder sorgfältig entworfenen Belohnungen haben. Projektwebsite: https://sites.google.com/view/lirf-corl-2022/

Open Source Robotics