Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

Auteurs: Francesco Del Duchetto, Marc Hanheide · IROS 2022

Licences

• Accès libre
• Article: CC BY-SA 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY-SA 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Lindsey, un robot guide de musée, adapte ses visites en ligne avec UCBVI en utilisant comme récompense l'engagement des visiteurs estimé par caméra, ce qui augmente de 22,8 % les œuvres visitées et de ~30 % les visites menées à terme.

Pourquoi c'est important

L'apprentissage se déroule sur un robot réel dans un espace public non structuré, où des visiteurs non formés peuvent interrompre ou partir à tout moment, plutôt qu'en laboratoire ou en simulation. Il utilise un signal d'engagement estimé automatiquement comme seul retour, sans phases distinctes de collecte de données et d'entraînement. Un retour de deux semaines à la politique statique après l'apprentissage vérifie que les gains viennent de la politique apprise et non d'autres effets, comme le comportement des visiteurs après le confinement.

Problème

Lindsey avait donné plus de 2 300 visites en 103 jours au musée The Collection de Lincoln, au Royaume-Uni, mais seulement environ 18 % ont été suivies jusqu'au bout par les visiteurs. Un robot social doit apprendre par l'expérience comment ses actions affectent les utilisateurs, or l'objectif, l'engagement des utilisateurs, est un état interne qui ne peut être qu'estimé à partir de capteurs. L'exploration sur un robot réel est en outre coûteuse en temps et limitée par la dynamique du monde réel.

Solution proposée

Les visites sont spécifiées sous forme de plans en réseaux de Petri dont les actions (aller à une œuvre, la décrire, la décrire plus en détail, terminer la visite) sont contraintes à des séquences de successeurs valides. Un modèle de régression de bout en bout exécuté sur le GPU du robot estime l'engagement à partir de la caméra à environ 1 Hz ; sa moyenne sur chaque action est classée en LOW, MEDIUM ou HIGH et utilisée à la fois dans l'état et comme récompense. L'algorithme Upper-Confidence-Bound Value Iteration (UCBVI), dont les compteurs de visites sont initialisés à partir de milliers de visites sous la politique statique d'origine et dont le bonus d'exploration est fixé par σ = 20, met à jour la politique après chaque visite.

Idées clés

• Les visiteurs montrant un engagement LOW au premier arrêt ont environ 20 % de chances en moins de poursuivre la visite, ce qui justifie d'utiliser l'engagement pour choisir les actions.
• La politique apprise réordonne les œuvres et décide quand donner des descriptions supplémentaires : plus souvent en début de visite, et ensuite seulement lorsque l'engagement est MEDIUM ou HIGH.
• Initialiser UCBVI avec des visites de la politique statique réutilise ces données tandis que le bonus oriente l'exploration vers les paires état–action moins explorées ; le bonus amène aussi le robot à répéter une action peu explorée sur des visites consécutives avant d'en essayer une nouvelle, ce que les auteurs ont trouvé utile pour un comportement cohérent.
• Comme la récompense est toujours positive, la fonction de récompense favorise implicitement les visites plus longues.

Principaux résultats

• Pendant la phase d'apprentissage de 8 semaines, le nombre moyen d'œuvres visitées par visite a augmenté de 22,8 % par rapport à la période précédente avec politique statique, et est revenu au niveau antérieur pendant la phase de vérification de 2 semaines avec la politique statique.
• Le taux de réussite des visites (visites passant par tous les arrêts) a augmenté de plus de 30 % par rapport à la visite statique ; le résumé l'exprime comme une augmentation de 30 % de la probabilité de terminer la visite.
• Sous la politique apprise, l'engagement est resté stable entre actions consécutives presque 50 % du temps, contre des chances à peu près égales d'augmenter, de diminuer ou de rester stable auparavant.
• Au début de 2022, l'exploration n'avait atteint qu'environ 13 % de l'espace état–action ; une poursuite simulée sur 5 semaines a montré que le nombre de nouveaux états explorables diminuait avec le temps.
• L'engagement moyen détecté a diminué pendant la phase d'apprentissage par rapport à la période antérieure et à la période de vérification.

Limites

• Seule une fraction de l'espace état–action a été explorée, et les auteurs indiquent qu'une exploration complète n'est pas réalisable en pratique dans ce cadre réel ; certains états ne peuvent être atteints que lorsque le comportement des utilisateurs le permet.
• L'engagement détecté a baissé après la réouverture du musée à la suite du confinement lié au COVID, peut-être parce que le port du masque affecte le modèle d'engagement ; l'étude s'étend sur près de trois ans, avec de nombreux facteurs influençant le comportement des visiteurs.
• Le bonus d'UCBVI ne peut pas reconnaître quand les estimations pour des zones bien explorées deviennent obsolètes parce que les préférences des utilisateurs évoluent ; les auteurs proposent comme travail futur un bonus fondé sur la divergence par rapport aux estimations passées.
• Hormis une baisse globale du désengagement, les auteurs ne trouvent aucune autre différence significative d'arrêt ou d'abandon des visites entre la politique apprise et la politique statique.
• L'étude porte sur un robot dans une galerie de musée, avec quatre visites de cinq ou six œuvres, et seules les interactions de visite guidée sont prises en compte.

Impact sur le domaine

L'article a été finaliste du IROS 2022 Best Paper Award on Cognitive Robotics (sponsored by KROS) et compte 14 citations. Il ne publie ni code ni données.

Résumé

Dans ce travail, nous proposons un cadre permettant à des robots autonomes déployés sur de longues périodes dans des espaces publics d'adapter leur propre comportement en ligne à partir des interactions avec les utilisateurs. La planification du comportement du robot est intégrée dans un cadre d'apprentissage par renforcement (RL), dont l'objectif est de maximiser le niveau d'engagement global des utilisateurs pendant les interactions. Nous utilisons l'algorithme Upper-Confidence-Bound Value-Iteration (UCBVI), qui offre un moyen utile de gérer le compromis exploration-exploitation pour des interactions en temps réel. Un modèle d'engagement entraîné de bout en bout génère la fonction de récompense en temps réel pendant l'exécution de la politique. Nous testons cette approche dans un musée public de Lincoln (Royaume-Uni), où le robot est déployé comme guide pour les visiteurs. Les résultats montrent qu'après quelques mois d'exploration, la politique du robot a appris à maintenir plus longtemps l'engagement des utilisateurs, avec une augmentation de 22,8 % par rapport à la politique statique initiale du nombre d'éléments visités pendant la visite et une augmentation de 30 % de la probabilité de terminer la visite. Ce travail constitue une étape prometteuse vers l'adaptation comportementale dans des scénarios à long terme pour des applications robotiques en contexte social.

Liens

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1