Learning to Share Autonomy across Repeated Interaction

Autores: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Autonomía compartida sin una lista de objetivos predefinida: el robot aprende tareas a partir de la teleoperación repetida, las reconoce por la entrada del joystick, imita ejecuciones anteriores y devuelve el control cuando no está seguro.

Por qué importa

Los usuarios de brazos de asistencia repiten las mismas tareas diarias, por lo que un brazo que aprende de esas repeticiones puede reducir el esfuerzo de teleoperación sin que nadie programe una lista de objetivos. La devolución del control basada en un discriminador evita el bloqueo que se observa con los métodos de inferencia de objetivos, en los que el robot se resiste a un usuario que se dirige hacia un objetivo desconocido.

Problema

Los métodos de autonomía compartida para brazos de asistencia necesitan conocimiento previo, como el conjunto de objetivos que el usuario podría alcanzar o la recompensa que el usuario optimiza. Cuando el usuario intenta una tarea fuera de ese conjunto, como abrir una nevera de la que nunca se informó al robot, el robot no puede ayudar e incluso puede empujar hacia el objetivo conocido equivocado.

Solución propuesta

El robot almacena cada interacción teleoperada y entrena un codificador que asigna los estados actuales y las órdenes de joystick del usuario a una tarea latente, y una política decodificadora que produce velocidades articulares de asistencia que replican el comportamiento anterior del usuario para esa tarea. Un discriminador independiente, entrenado para distinguir las interacciones ya vistas de deformaciones ruidosas de ellas, puntúa lo familiar que es la interacción actual, y esa puntuación fija la mezcla β entre las acciones del robot y las del humano. Los modelos se reentrenan entre interacciones, de modo que las tareas nuevas se aprenden de forma continua.

Ideas clave

La repetición en la vida diaria es lo que hace posible aprender a asistir; nunca hay que decirle al robot qué tarea quiere el usuario.
Codificar la interacción en una tarea latente antes de elegir una acción mejoró el alcance de objetivos frente a la clonación de comportamiento (DAgger) condicionada directamente a la interacción.
Un discriminador de familiaridad independiente dio una confianza más estable en una tarea conocida que la incertidumbre autoevaluada de DropoutDAgger, que devolvía el control ante desviaciones menores.
Usar como entrada del codificador solo las órdenes del humano, y no la acción combinada, evita bucles de realimentación en los que el robot se convence a sí mismo del objetivo con sus propias acciones.
La inferencia bayesiana de objetivos sobre un conjunto fijo de objetivos puede bloquearse ante una tarea desconocida, como muestra el apéndice cuando el usuario abre un cajón y el robot tira hacia un bloc de notas cercano.

Resultados principales

En el estudio de ablación de alcance con tres objetivos y 3 o 5 demostraciones de entrenamiento, en el que el usuario guiaba solo los primeros 0,5 s, el enfoque basado en el codificador alcanzó el objetivo con un error de estado final menor que DAgger con los mismos datos.
Con cinco repeticiones previas de una habilidad de levantar un vaso, el enfoque se mantuvo confiado todo el tiempo, mientras que DropoutDAgger rara vez prestó asistencia.
Entrenado con cinco repeticiones de una habilidad de cajón, el enfoque redujo el esfuerzo humano en la tarea del cajón en todos los niveles de ruido probados y no necesitó más esfuerzo que No Assist en una tarea no vista de alcanzar una lata.
En un estudio con 10 participantes, el esfuerzo humano para alcanzar dos objetivos conocidos no difirió significativamente entre el enfoque y un método de referencia bayesiano de autonomía compartida.
Cuando los participantes realizaron dos tareas nuevas 9 veces cada una, con reentrenamiento cada tres ensayos, el robot reconoció la habilidad del cajón y prestó asistencia tras entrenarse con 6 demostraciones; un modelo entrenado con todas las tareas asistió en los objetivos originales aproximadamente igual de bien que los modelos específicos de cada tarea.
Los autores afirman que el método aprende a partir de un número práctico de interacciones (menos de 10).

Limitaciones

El enfoque no modela explícitamente la coadaptación: a medida que los usuarios confían en el robot, pueden cambiar su forma de teleoperar, por ejemplo dejando por completo de usar el joystick.
El estudio con usuarios tuvo 10 participantes de una comunidad universitaria, no usuarios que viven con discapacidades físicas.
Los experimentos usaron un brazo fijo de 7 DoF en un entorno doméstico simplificado, no un brazo montado en una silla de ruedas.
Los experimentos en simulación usan operadores simulados con ruido gaussiano en sus órdenes en lugar de usuarios reales.

Impacto en el campo

El artículo fue finalista del IROS 2021 Best RoboCup Paper Award y tiene 16 citas. Enlaza un vídeo de los experimentos; no indica que se hayan publicado código ni datos.

Resumen

Los brazos robóticos montados en sillas de ruedas (y otros robots de asistencia) deberían ayudar a sus usuarios a realizar tareas cotidianas. Una forma en que los robots pueden prestar esta asistencia es la autonomía compartida. Dentro de la autonomía compartida, tanto el humano como el robot mantienen el control sobre el movimiento del robot: a medida que el robot adquiere confianza en que entiende lo que quiere el humano, interviene cada vez más para automatizar la tarea. Pero ¿cómo sabe el robot, en primer lugar, qué tareas puede querer realizar el humano? Los enfoques actuales de autonomía compartida suelen depender de conocimiento previo: por ejemplo, el robot debe conocer a priori el conjunto de posibles objetivos del humano. A largo plazo, sin embargo, este conocimiento previo inevitablemente fallará: tarde o temprano el humano se dirigirá hacia un objetivo que el robot no esperaba. En este artículo proponemos un enfoque de aprendizaje para la autonomía compartida que aprovecha las interacciones repetidas. Aprender a asistir a los humanos sería imposible si realizaran tareas completamente distintas en cada interacción; pero nuestra idea es que los usuarios que viven con discapacidades físicas repiten tareas importantes a diario (p. ej., abrir la nevera, preparar café y cenar). Presentamos un algoritmo que explota estas interacciones repetidas para reconocer la tarea del humano, replicar demostraciones similares y devolver el control cuando no está seguro. A medida que el humano trabaja repetidamente con este robot, nuestro enfoque aprende de forma continua a asistir en tareas que nunca se especificaron de antemano: estas tareas incluyen tanto objetivos discretos (p. ej., alcanzar una taza) como habilidades continuas (p. ej., abrir un cajón). En simulaciones y en un estudio presencial con usuarios, demostramos que los robots que usan nuestro enfoque igualan a los métodos existentes de autonomía compartida en objetivos conocidos y superan a los métodos de referencia de aprendizaje por imitación en tareas nuevas. Vea los vídeos aquí: https://youtu.be/NazeLVbQ2og

Enlaces

arXiv 2107.09650: https://arxiv.org/abs/2107.09650
DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
PDF: https://arxiv.org/pdf/2107.09650v1