Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

Autoren: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

OPA trainiert eine Graph-Network-Policy auf synthetischen Annäherungs- und Ausweichpfaden vor und passt sich dann an eine einzige menschliche Korrektur an, indem nur kleine objektspezifische Präferenzmerkmale aktualisiert werden, in unter 0,5 s.

Warum es wichtig ist

Die Trennung der festen Interaktionsdynamik von objektspezifischen Präferenzen erlaubt es, mit einer Korrektur das Verhalten gegenüber einem Objekt zu ändern, ohne die Policy neu zu trainieren. Der kompakte latente Raum kann Verhaltensweisen ausdrücken, die im Vortraining nicht vorkamen, etwa beliebige relative Orientierungen in SO(3), und das Vortraining benötigt keine menschlichen Demonstrationen, weil die Daten synthetisch sind.

Problem

Roboter müssen ihr Verhalten ändern, wenn ein Mensch sie mitten in einer Aufgabe korrigiert, etwa wenn eine Fabrik einen neuen Scan-Schritt hinzufügt. Bestehende Online-Methoden benötigen entweder wiederholte Interaktionsepisoden oder modellieren menschliche Präferenzen als Gewichte auf einer festen Menge handverlesener Belohnungsmerkmale, was einschränkt, was gelernt werden kann, und sich schlecht auf neue Aufgaben überträgt.

Lösungsansatz

OPA stellt die Szene als Graphen dar, mit Roboter und Objekten als Knoten und Kanten von jedem Objekt zum Roboter. Gemeinsame Relationsnetzwerke für Position und Orientierung erhalten von Hand entworfene relative Zustandsmerkmale sowie ein kleines gelerntes Präferenzmerkmal pro Objekt (1-D für die Position; eine 1-D-Latente plus ein Quaternion-Rotationsversatz für die Orientierung), und ein Aggregator summiert und normiert ihre Ausgaben zu einer Aktion. Die Policy wird auf synthetischen Elastic-Band-Trajektorien vortrainiert; nach einer menschlichen Störung werden nur die objektspezifischen Merkmale durch einige Gradientenschritte auf einem imaginierten Rollout aktualisiert, während die gemeinsamen Netzwerkgewichte eingefroren bleiben.

Wichtigste Erkenntnisse

Objektspezifische Präferenzmerkmale als trainierbare Gewichte zu behandeln, beschränkt die Anpassung auf einen kompakten latenten Raum: 5 Gradienten-Updates für die Position und 20 für die Orientierung reichten aus.
Das Vortraining deckte nur vier Interaktionsklassen ab (näher heran- oder weiter wegbewegen; die Orientierung eines Objekts ignorieren oder mit festem Versatz übernehmen), dennoch erzeugte die Anpassung neue Verhaltensweisen wie beliebige 3D-Orientierungen relativ zu einem Objekt.
Die Modellstruktur machte die gelernten Gewichte interpretierbar: Gelernte 2D-Rotationsversätze konvergierten während des Trainings gegen die tatsächlichen Versätze.
Anders als bei Potenzialfeldmethoden ist das Relationsnetzwerk nicht gezwungen, Kräfte parallel zum Roboter–Objekt-Vektor auszugeben, wodurch ein Versagen vermieden wird, wenn ein Hindernis in derselben Richtung wie das Ziel liegt.
Die Positionsmerkmale für abstoßende, anziehende und Zielobjekte mit 1,0, 0,5 und 0,0 zu initialisieren, führte dazu, dass eine Interpolation zwischen Merkmalen interpoliertes Verhalten ergab, sodass neue Objekte am Mittelpunkt als „ignorieren“ starten können.

Hauptergebnisse

Nutzerstudie mit 10 CMU-Studierenden zu drei simulierten Manipulator-Aufgaben, bei denen Störungen über Computertasten aufgebracht wurden.
Aufgabe 1 (eine zerbrechliche Tasse tief über den Tisch tragen): Die Nutzer bewerteten OPA so, dass es ihre Präferenzen besser verstehe, weniger Aufwand erfordere und etwas vorhersehbarer sei als eine Baseline, die während der Störung in die Schwerkraftkompensation wechselt.
Aufgabe 2 (eine Pfanne in einer gewählten Orientierung präsentieren): mittlerer Orientierungsfehler 0,2576 rad, 16 % des maximal möglichen π/2; Zufriedenheitsquartile 3,5 / 4,0 / 4,0 auf einer Fünf-Punkte-Skala.
Aufgabe 3 (vor dem Behälter einen Barcode-Scan-Schritt hinzufügen): Quartile für „hat meine Absichten verstanden“ 4,0 / 4,0 / 5,0 auf einer Fünf-Punkte-Skala.
Die Online-Anpassung dauert insgesamt unter 0,5 s; das Vortraining jedes Netzwerks dauert 12 Minuten für 100 Epochen auf einer Laptop-GPU, nach 4 Minuten zur Erzeugung von 3000 synthetischen Trajektorien mit 9 parallelen Prozessen.

Einschränkungen

Die Autoren geben an, dass OPA auf objektzentrierten Aktionen beruht, die als Annähern und Ausweichen formuliert sind; Greifen und das Aufbringen von Kraft (zum Beispiel das Abwischen einer Oberfläche) werden nicht behandelt.
Es setzt voraus, dass jedes Objekt erkannt, eindeutig identifiziert und seine 6D-Pose extrahiert werden kann; unstrukturierte Umgebungen bleiben künftiger Arbeit überlassen.
Die Ergebnisse reagieren empfindlich auf die Lernrate der Anpassung und die Zahl der Gradientenschritte: In Aufgabe 1 sahen zwei Nutzer, dass der Roboter nahe am Tisch verweilte oder das Ziel ignorierte, und in Aufgabe 3 sagten zwei, die Schüssel hätte näher an den Scanner rücken sollen.
Aufgabenzentrierte Ziele, die nicht relativ zu einem Objekt sind, etwa Zeichnen, werden nicht abgedeckt.
Die Nutzerstudie verwendete einen simulierten Manipulator, der über Tastaturtasten gestört wurde, nicht physischen Kontakt mit einem realen Roboter.

Wirkung auf das Fachgebiet

Gewinner des ICRA 2023 Outstanding Physical Human-Robot Interaction Paper Award, mit 7 Zitierungen. Das Paper verlinkt Videos, Code und ergänzendes Material; die offizielle Projektseite verweist auf das Code-Repository.

Zusammenfassung

Damit Roboter in neuen Umgebungen und Aufgaben wirksam eingesetzt werden können, müssen sie das Feedback verstehen, das Menschen während eines Eingriffs ausdrücken. Dieses kann entweder unerwünschtes Verhalten korrigieren oder zusätzliche Präferenzen anzeigen. Bestehende Methoden erfordern entweder wiederholte Interaktionsepisoden oder setzen vorab bekannte Belohnungsmerkmale voraus, was nicht dateneffizient ist und sich kaum auf neue Aufgaben übertragen lässt. Wir lockern diese Annahmen, indem wir menschliche Aufgaben als objektzentrierte Teilaufgaben beschreiben und physische Eingriffe in Bezug auf bestimmte Objekte interpretieren. Unsere Methode, Object Preference Adaptation (OPA), besteht aus zwei zentralen Phasen: 1) dem Vortraining einer Basis-Policy, die eine große Vielfalt an Verhaltensweisen erzeugt, und 2) dem Online-Aktualisieren nur bestimmter Gewichte im Modell gemäß dem menschlichen Feedback. Der Schlüssel zu unserer schnellen und dennoch einfachen Anpassung ist, dass die allgemeine Interaktionsdynamik zwischen Agenten und Objekten fest bleibt und nur objektspezifische Präferenzen aktualisiert werden. Unsere Anpassung erfolgt online, erfordert nur einen einzigen menschlichen Eingriff (One-Shot) und erzeugt neue Verhaltensweisen, die während des Trainings nie gesehen wurden. Auf günstigen synthetischen Daten statt auf teuren menschlichen Demonstrationen trainiert, zeigt unsere Policy in unserer Nutzerstudie eine beeindruckende Anpassung an menschliche Störungen bei anspruchsvollen, realistischen Aufgaben. Videos, Code und ergänzendes Material: https://alvinosaur.github.io/AboutMe/projects/opa.

Open Source Robotics