Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

Autores: Francesco Del Duchetto, Marc Hanheide · IROS 2022

Licencias

• Acceso abierto
• Artículo: CC BY-SA 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY-SA 4.0; su figura se muestra con crédito a los autores.

En resumen

Lindsey, un robot guía de museo, adapta sus recorridos en línea con UCBVI usando como recompensa la implicación de los visitantes estimada por cámara, y aumenta un 22,8 % las piezas visitadas y en torno a un 30 % los recorridos completados.

Por qué importa

El aprendizaje se ejecuta en un robot real en un espacio público no estructurado, donde visitantes sin formación pueden interrumpir o marcharse en cualquier momento, y no en un laboratorio ni en simulación. Usa como única retroalimentación una señal de implicación estimada automáticamente, sin fases separadas de recogida de datos y de entrenamiento. Una vuelta de dos semanas a la política estática tras el aprendizaje comprueba que las mejoras se debieron a la política aprendida y no a otros efectos, como el comportamiento de los visitantes después del confinamiento.

Problema

Lindsey había hecho más de 2300 recorridos en 103 días en el museo The Collection de Lincoln, Reino Unido, pero los visitantes solo completaron alrededor del 18 %. Un robot social debe aprender por experiencia cómo sus acciones afectan a los usuarios, pero el objetivo, la implicación del usuario, es un estado interno que solo puede estimarse a partir de sensores. Además, la exploración en un robot real es costosa en tiempo y está limitada por la dinámica del mundo real.

Solución propuesta

Los recorridos se especifican como planes de redes de Petri cuyas acciones (ir a una pieza, describirla, describirla con más detalle, terminar el recorrido) están restringidas a secuencias sucesoras válidas. Un modelo de regresión de extremo a extremo en la GPU del robot estima la implicación a partir de la cámara a aproximadamente 1 Hz; su media en cada acción se clasifica en LOW, MEDIUM o HIGH y se usa tanto en el estado como en la recompensa. El algoritmo Upper-Confidence-Bound Value Iteration (UCBVI), con sus recuentos de visitas inicializados a partir de miles de recorridos con la política estática original y una bonificación de exploración fijada por σ = 20, actualiza la política después de cada recorrido.

Ideas clave

• Los visitantes que muestran una implicación LOW en la primera parada tienen alrededor de un 20 % menos de probabilidad de continuar el recorrido, lo que justifica usar la implicación para elegir las acciones.
• La política aprendida reordena las piezas y decide cuándo dar descripciones adicionales: las da con más frecuencia al principio del recorrido y, más adelante, solo cuando la implicación es MEDIUM o HIGH.
• Inicializar UCBVI con recorridos de la política estática reutiliza esos datos, mientras que la bonificación dirige la exploración hacia los pares estado–acción menos explorados; la bonificación también hace que el robot repita una acción poco explorada en recorridos consecutivos antes de probar otra nueva, algo que los autores consideraron útil para un comportamiento consistente.
• Como la recompensa es siempre positiva, la función de recompensa favorece implícitamente los recorridos más largos.

Resultados principales

• Durante la fase de aprendizaje de 8 semanas, el número medio de piezas visitadas por recorrido aumentó un 22,8 % respecto al periodo anterior con política estática, y volvió al nivel anterior en la fase de verificación de 2 semanas con la política estática.
• La tasa de éxito de los recorridos (recorridos que visitan todas las paradas) aumentó más de un 30 % frente al recorrido estático; el resumen lo expresa como un aumento del 30 % en la probabilidad de completar el recorrido.
• Con la política aprendida, la implicación se mantuvo estable entre acciones consecutivas casi el 50 % de las veces, frente a probabilidades aproximadamente iguales de aumentar, disminuir o mantenerse estable antes.
• A principios de 2022 la exploración solo había alcanzado alrededor del 13 % del espacio estado–acción; una continuación simulada de 5 semanas mostró que el número de estados nuevos explorables disminuía con el tiempo.
• La implicación media detectada disminuyó durante la fase de aprendizaje en comparación con los periodos anterior y de verificación.

Limitaciones

• Solo se exploró una fracción del espacio estado–acción, y los autores afirman que en este entorno real no puede lograrse en la práctica una exploración completa; a algunos estados solo se llega cuando el comportamiento de los usuarios lo permite.
• La implicación detectada bajó después de que el museo reabriera tras el confinamiento por la COVID, posiblemente porque el uso de mascarillas afecta al modelo de implicación; el estudio abarca casi tres años con muchos factores que influyen en el comportamiento de los visitantes.
• La bonificación de UCBVI no puede reconocer cuándo las estimaciones de zonas bien exploradas se quedan obsoletas porque cambian las preferencias de los usuarios; los autores proponen como trabajo futuro una bonificación basada en la divergencia respecto a estimaciones anteriores.
• Aparte de una disminución general de la desvinculación, los autores no encuentran ninguna otra diferencia significativa en las interrupciones o abandonos de recorridos entre la política aprendida y la estática.
• El estudio abarca un robot en una sola sala de museo con cuatro recorridos de cinco o seis piezas, y solo se consideran las interacciones de visitas guiadas.

Impacto en el campo

El artículo fue finalista del IROS 2022 Best Paper Award on Cognitive Robotics (patrocinado por KROS) y tiene 14 citas. El artículo no publica código ni datos.

Resumen

En este trabajo proponemos un marco que permite a robots autónomos desplegados durante periodos prolongados en espacios públicos adaptar su propio comportamiento en línea a partir de las interacciones con los usuarios. La planificación del comportamiento del robot se integra en un marco de aprendizaje por refuerzo (RL), cuyo objetivo es maximizar el nivel de implicación global de los usuarios durante las interacciones. Usamos el algoritmo Upper-Confidence-Bound Value-Iteration (UCBVI), que ofrece una forma útil de gestionar el compromiso entre exploración y explotación en interacciones en tiempo real. Un modelo de implicación entrenado de extremo a extremo genera la función de recompensa en tiempo real durante la ejecución de la política. Probamos este enfoque en un museo público de Lincoln (Reino Unido), donde el robot está desplegado como guía para los visitantes. Los resultados muestran que, tras un par de meses de exploración, la política del robot aprendió a mantener la implicación de los usuarios durante más tiempo, con un aumento del 22,8 % respecto a la política estática inicial en el número de piezas visitadas durante el recorrido y un aumento del 30 % en la probabilidad de completar el recorrido. Este trabajo es un paso prometedor hacia la adaptación del comportamiento en escenarios de larga duración para aplicaciones robóticas en entornos sociales.

Enlaces

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1