Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

Autoren: Francesco Del Duchetto, Marc Hanheide · IROS 2022

Lizenzen

Open Access
Paper: CC BY-SA 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY-SA 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Lindsey, ein Museumsführer-Roboter, passt seine Führungen online mit UCBVI an und nutzt das per Kamera geschätzte Engagement der Besucher als Belohnung; so steigen die besuchten Exponate um 22,8 % und der Abschluss der Führungen um ~30 %.

Warum es wichtig ist

Das Lernen läuft auf einem realen Roboter in einem unstrukturierten öffentlichen Raum, in dem ungeschulte Besucher jederzeit unterbrechen oder weggehen können, statt im Labor oder in der Simulation. Als einzige Rückmeldung dient ein automatisch geschätztes Engagement-Signal, ohne getrennte Phasen für Datensammlung und Training. Eine zweiwöchige Rückkehr zur statischen Policy nach dem Lernen prüft, dass die Zugewinne von der gelernten Policy stammen und nicht von anderen Effekten wie dem Besucherverhalten nach dem Lockdown.

Problem

Lindsey hatte im Museum The Collection in Lincoln, Vereinigtes Königreich, in 103 Tagen mehr als 2.300 Führungen gegeben, doch nur etwa 18 % wurden von den Besuchern zu Ende verfolgt. Ein sozialer Roboter muss aus Erfahrung lernen, wie seine Aktionen auf Nutzer wirken, doch das Ziel, das Nutzerengagement, ist ein innerer Zustand, der sich nur aus Sensordaten schätzen lässt. Exploration auf einem realen Roboter ist zudem zeitaufwendig und durch die Dynamik der realen Welt begrenzt.

Lösungsansatz

Führungen werden als Petri-Netz-Pläne spezifiziert, deren Aktionen (zu einem Exponat gehen, es beschreiben, es ausführlicher beschreiben, die Führung beenden) auf gültige Nachfolgesequenzen beschränkt sind. Ein Ende-zu-Ende-Regressionsmodell auf der GPU des Roboters schätzt das Engagement aus dem Kamerabild mit etwa 1 Hz; sein Mittelwert über jede Aktion wird in LOW, MEDIUM oder HIGH eingeteilt und sowohl im Zustand als auch als Belohnung verwendet. Der Algorithmus Upper-Confidence-Bound Value Iteration (UCBVI), dessen Besuchszähler aus Tausenden von Führungen unter der ursprünglichen statischen Policy initialisiert werden und dessen Explorationsbonus über σ = 20 gesetzt wird, aktualisiert die Policy nach jeder Führung.

Wichtigste Erkenntnisse

Besucher mit LOW Engagement an der ersten Station haben eine um etwa 20 % geringere Chance, die Führung fortzusetzen, was die Nutzung des Engagements zur Aktionswahl begründet.
Die gelernte Policy ordnet die Exponate neu und entscheidet, wann zusätzliche Beschreibungen gegeben werden: früh in der Führung häufiger, später nur, wenn das Engagement MEDIUM oder HIGH ist.
UCBVI mit Führungen der statischen Policy zu initialisieren, verwertet diese Daten wieder, während der Bonus die Exploration auf weniger erkundete Zustand-Aktions-Paare lenkt; der Bonus bringt den Roboter außerdem dazu, eine wenig erkundete Aktion über aufeinanderfolgende Führungen zu wiederholen, bevor er eine neue versucht, was die Autoren für konsistentes Verhalten nützlich fanden.
Da die Belohnung stets positiv ist, bevorzugt die Belohnungsfunktion implizit längere Führungen.

Hauptergebnisse

Während der 8-wöchigen Lernphase stieg die durchschnittliche Zahl besuchter Exponate pro Führung um 22,8 % gegenüber dem vorherigen Zeitraum mit statischer Policy und kehrte in der 2-wöchigen Verifikationsphase mit der statischen Policy auf das frühere Niveau zurück.
Die Erfolgsquote der Führungen (Führungen, die alle Stationen besuchen) stieg gegenüber der statischen Führung um über 30 %; die Zusammenfassung gibt dies als Steigerung der Wahrscheinlichkeit, die Führung abzuschließen, um 30 % an.
Unter der gelernten Policy blieb das Engagement zwischen aufeinanderfolgenden Aktionen in fast 50 % der Fälle stabil, gegenüber zuvor ungefähr gleichen Chancen für Anstieg, Rückgang oder Stabilität.
Bis Anfang 2022 erreichte die Exploration nur etwa 13 % des Zustand-Aktions-Raums; eine simulierte Fortsetzung über 5 Wochen zeigte, dass die Zahl neu erkundbarer Zustände mit der Zeit abnahm.
Das durchschnittlich erkannte Engagement sank während der Lernphase im Vergleich zum früheren Zeitraum und zur Verifikationsphase.

Einschränkungen

Nur ein Bruchteil des Zustand-Aktions-Raums wurde erkundet, und die Autoren geben an, dass eine vollständige Exploration in diesem realen Umfeld praktisch nicht erreichbar ist; manche Zustände sind nur erreichbar, wenn das Nutzerverhalten es zulässt.
Das erkannte Engagement sank, nachdem das Museum nach dem COVID-Lockdown wieder öffnete, möglicherweise weil das Tragen von Masken das Engagement-Modell beeinflusst; die Studie erstreckt sich über fast drei Jahre mit vielen Faktoren, die das Besucherverhalten beeinflussen.
Der UCBVI-Bonus kann nicht erkennen, wann Schätzungen für gut erkundete Bereiche veralten, weil sich Nutzerpräferenzen verschieben; die Autoren schlagen als künftige Arbeit einen Bonus vor, der auf der Abweichung von früheren Schätzungen beruht.
Abgesehen von einem insgesamt geringeren Abwenden der Besucher finden die Autoren keinen weiteren signifikanten Unterschied beim Anhalten oder Abbrechen von Führungen zwischen gelernter und statischer Policy.
Die Studie umfasst einen Roboter in einer Museumsgalerie mit vier Führungen zu je fünf oder sechs Exponaten, und es werden nur Interaktionen bei geführten Touren betrachtet.

Wirkung auf das Fachgebiet

Das Paper war Finalist für den IROS 2022 Best Paper Award on Cognitive Robotics (sponsored by KROS) und hat 14 Zitierungen. Das Paper veröffentlicht weder Code noch Daten.

Zusammenfassung

In dieser Arbeit schlagen wir ein Rahmenwerk vor, das es autonomen Robotern, die über längere Zeiträume in öffentlichen Räumen eingesetzt werden, ermöglicht, ihr eigenes Verhalten online aus Nutzerinteraktionen anzupassen. Die Verhaltensplanung des Roboters ist in ein Rahmenwerk des bestärkenden Lernens (RL) eingebettet, dessen Ziel es ist, das Gesamtniveau des Nutzerengagements während der Interaktionen zu maximieren. Wir verwenden den Algorithmus Upper-Confidence-Bound Value-Iteration (UCBVI), der eine hilfreiche Möglichkeit bietet, den Zielkonflikt zwischen Exploration und Exploitation bei Echtzeitinteraktionen zu handhaben. Ein Ende-zu-Ende trainiertes Engagement-Modell erzeugt die Belohnungsfunktion in Echtzeit während der Ausführung der Policy. Wir testen diesen Ansatz in einem öffentlichen Museum in Lincoln (Vereinigtes Königreich), wo der Roboter als Führer für die Besucher eingesetzt wird. Die Ergebnisse zeigen, dass die Policy des Roboters nach einigen Monaten Exploration gelernt hat, das Engagement der Nutzer länger aufrechtzuerhalten, mit einer Steigerung der Zahl der während der Führung besuchten Stationen um 22,8 % gegenüber der anfänglichen statischen Policy und einer Steigerung der Wahrscheinlichkeit, die Führung abzuschließen, um 30 %. Diese Arbeit ist ein vielversprechender Schritt hin zu Verhaltensanpassung in Langzeitszenarien für Robotikanwendungen in sozialen Umgebungen.

Open Source Robotics