Learning to Share Autonomy across Repeated Interaction

Autoren: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Geteilte Autonomie ohne vordefinierte Zielliste: Der Roboter lernt Aufgaben aus wiederholter Teleoperation, erkennt sie an der Joystick-Eingabe, imitiert frühere Durchläufe und gibt die Kontrolle zurück, wenn er unsicher ist.

Warum es wichtig ist

Nutzer von Assistenzarmen wiederholen dieselben täglichen Aufgaben, sodass ein Arm, der aus diesen Wiederholungen lernt, den Teleoperationsaufwand verringern kann, ohne dass jemand eine Zielliste programmiert. Die auf dem Diskriminator beruhende Rückgabe der Kontrolle vermeidet die Blockade, die bei Methoden der Zielinferenz auftritt, wenn sich der Roboter einem Nutzer widersetzt, der ein unbekanntes Ziel ansteuert.

Problem

Methoden der geteilten Autonomie für Assistenzarme brauchen Vorwissen, etwa die Menge der Ziele, die der Nutzer ansteuern könnte, oder die Belohnung, die er optimiert. Versucht der Nutzer eine Aufgabe außerhalb dieser Menge, etwa einen Kühlschrank zu öffnen, von dem dem Roboter nie etwas gesagt wurde, kann der Roboter nicht helfen und drängt womöglich sogar zum falschen bekannten Ziel.

Lösungsansatz

Der Roboter speichert jede teleoperierte Interaktion und trainiert einen Encoder, der die aktuellen Zustände und Joystick-Befehle des Nutzers auf eine latente Aufgabe abbildet, sowie eine Decoder-Policy, die assistierende Gelenkgeschwindigkeiten ausgibt, die das frühere Verhalten des Nutzers für diese Aufgabe nachbilden. Ein separater Diskriminator, der darauf trainiert ist, gesehene Interaktionen von verrauschten Verformungen derselben zu unterscheiden, bewertet, wie vertraut die aktuelle Interaktion ist, und dieser Wert bestimmt die Mischung β zwischen Roboter- und Menschenaktionen. Die Modelle werden zwischen den Interaktionen neu trainiert, sodass neue Aufgaben fortlaufend gelernt werden.

Wichtigste Erkenntnisse

Wiederholung im Alltag macht es überhaupt erst möglich, Assistenz zu lernen; dem Roboter muss nie gesagt werden, welche Aufgabe der Nutzer will.
Die Interaktion vor der Aktionswahl in eine latente Aufgabe zu kodieren, verbesserte das Erreichen von Zielen gegenüber Verhaltensklonung (DAgger), die direkt auf die Interaktion konditioniert ist.
Ein separater Diskriminator für Vertrautheit lieferte bei einer bekannten Aufgabe eine stabilere Konfidenz als die selbst eingeschätzte Unsicherheit von DropoutDAgger, das schon bei kleinen Abweichungen die Kontrolle zurückgab.
Nur die Befehle des Menschen statt der gemischten Aktion als Eingabe des Encoders zu verwenden, vermeidet Rückkopplungsschleifen, in denen sich der Roboter mit seinen eigenen Aktionen vom Ziel überzeugt.
Bayessche Zielinferenz über eine feste Zielmenge kann bei einer unbekannten Aufgabe in eine Blockade geraten, wie der Anhang zeigt, wenn der Nutzer eine Schublade öffnet und der Roboter zu einem nahen Notizblock zieht.

Hauptergebnisse

In der Ablation zum Greifen mit drei Zielen und 3 oder 5 Trainingsdemonstrationen, bei der der Nutzer nur die ersten 0,5 s führte, erreichte der Encoder-basierte Ansatz das Ziel mit geringerem Endzustandsfehler als DAgger bei denselben Daten.
Mit fünf vorherigen Wiederholungen einer Fertigkeit zum Anheben eines Glases blieb der Ansatz durchgehend konfident, während DropoutDAgger kaum Unterstützung leistete.
Trainiert auf fünf Wiederholungen einer Schubladen-Fertigkeit verringerte der Ansatz den menschlichen Aufwand bei der Schubladenaufgabe über alle getesteten Rauschpegel und brauchte bei einer ungesehenen Aufgabe, nach einer Dose zu greifen, nicht mehr Aufwand als No Assist.
In einer Studie mit 10 Teilnehmenden unterschied sich der menschliche Aufwand für das Erreichen zweier bekannter Ziele nicht signifikant zwischen dem Ansatz und einer Baseline der Bayesschen geteilten Autonomie.
Als die Teilnehmenden zwei neue Aufgaben je 9-mal ausführten, mit Neutraining alle drei Durchgänge, erkannte der Roboter die Schubladen-Fertigkeit und leistete nach dem Training auf 6 Demonstrationen Unterstützung; ein auf allen Aufgaben trainiertes Modell unterstützte die ursprünglichen Ziele etwa so gut wie aufgabenspezifische Modelle.
Die Autoren geben an, dass die Methode aus einer praktikablen Zahl von Interaktionen (weniger als 10) lernt.

Einschränkungen

Der Ansatz modelliert Ko-Adaptation nicht explizit: Wenn Nutzer dem Roboter vertrauen, ändern sie womöglich ihre Art zu teleoperieren, etwa indem sie die Joystick-Eingabe ganz einstellen.
Die Nutzerstudie hatte 10 Teilnehmende aus einem universitären Umfeld, keine Nutzer, die mit körperlichen Behinderungen leben.
Die Experimente verwendeten einen fest montierten 7-DoF-Arm in einer vereinfachten häuslichen Umgebung, keinen rollstuhlmontierten Arm.
Die Simulationsexperimente verwenden simulierte Bediener mit Gaußschem Rauschen auf ihren Befehlen statt realer Nutzer.

Wirkung auf das Fachgebiet

Die Arbeit war Finalistin für den IROS 2021 Best RoboCup Paper Award und hat 16 Zitierungen. Sie verlinkt ein Video der Experimente; eine Veröffentlichung von Code oder Daten wird nicht angegeben.

Zusammenfassung

Rollstuhlmontierte Roboterarme (und andere Assistenzroboter) sollen ihren Nutzern helfen, alltägliche Aufgaben auszuführen. Eine Möglichkeit, wie Roboter diese Unterstützung leisten können, ist geteilte Autonomie. Bei geteilter Autonomie behalten sowohl der Mensch als auch der Roboter die Kontrolle über die Bewegung des Roboters: Je sicherer der Roboter ist, dass er versteht, was der Mensch will, desto stärker greift er ein, um die Aufgabe zu automatisieren. Doch woher weiß der Roboter überhaupt, welche Aufgaben der Mensch ausführen möchte? Heutige Ansätze der geteilten Autonomie stützen sich oft auf Vorwissen: Beispielsweise muss der Roboter die Menge möglicher Ziele des Menschen a priori kennen. Langfristig wird dieses Vorwissen jedoch unweigerlich versagen – früher oder später wird der Mensch nach einem Ziel greifen, mit dem der Roboter nicht gerechnet hat. In dieser Arbeit schlagen wir einen Lernansatz für geteilte Autonomie vor, der wiederholte Interaktionen nutzt. Menschen beim Assistieren zu lernen wäre unmöglich, wenn sie bei jeder Interaktion völlig andere Aufgaben ausführten; unsere Erkenntnis ist jedoch, dass Nutzer, die mit körperlichen Behinderungen leben, wichtige Aufgaben täglich wiederholen (z. B. den Kühlschrank öffnen, Kaffee kochen und zu Abend essen). Wir stellen einen Algorithmus vor, der diese wiederholten Interaktionen ausnutzt, um die Aufgabe des Menschen zu erkennen, ähnliche Demonstrationen nachzubilden und bei Unsicherheit die Kontrolle zurückzugeben. Während der Mensch wiederholt mit diesem Roboter arbeitet, lernt unser Ansatz fortlaufend, bei Aufgaben zu assistieren, die vorher nie festgelegt wurden: Diese Aufgaben umfassen sowohl diskrete Ziele (z. B. nach einer Tasse greifen) als auch kontinuierliche Fertigkeiten (z. B. eine Schublade öffnen). In Simulationen und einer Nutzerstudie in Präsenz zeigen wir, dass Roboter, die unseren Ansatz nutzen, bei bekannten Zielen mit bestehenden Methoden der geteilten Autonomie gleichziehen und bei neuen Aufgaben Baselines des Imitation Learning übertreffen. Videos siehe hier: https://youtu.be/NazeLVbQ2og

Open Source Robotics