Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

Autores: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

OPA preentrena una política de red de grafos con trayectorias sintéticas de alcanzar y evitar, y luego se adapta a una sola corrección humana actualizando solo pequeñas características de preferencia por objeto, en menos de 0,5 s.

Por qué importa

Separar la dinámica de interacción fija de las preferencias específicas de cada objeto permite que una sola corrección cambie el comportamiento hacia un objeto sin volver a entrenar la política. El espacio latente compacto puede expresar comportamientos que no estaban en el preentrenamiento, como orientaciones relativas arbitrarias en SO(3), y el preentrenamiento no necesita demostraciones humanas porque los datos son sintéticos.

Problema

Los robots necesitan cambiar su comportamiento cuando una persona los corrige a mitad de una tarea, por ejemplo cuando una fábrica añade un nuevo paso de escaneo. Los métodos en línea existentes necesitan episodios repetidos de interacción o modelan las preferencias humanas como pesos sobre un conjunto fijo de características de recompensa elegidas a mano, lo que limita lo que se puede aprender y se transfiere mal a tareas nuevas.

Solución propuesta

OPA representa la escena como un grafo con el robot y los objetos como nodos y aristas de cada objeto al robot. Unas redes de relaciones compartidas para la posición y la orientación toman características de estado relativo diseñadas a mano más una pequeña característica de preferencia aprendida por objeto (1-D para la posición; un latente 1-D más un desfase rotacional en cuaternión para la orientación), y un agregador suma y normaliza sus salidas para obtener una acción. La política se preentrena con trayectorias sintéticas de Elastic Band; tras una perturbación humana, solo se actualizan las características por objeto mediante unos pocos pasos de gradiente sobre un rollout imaginado, mientras que los pesos de la red compartida permanecen congelados.

Ideas clave

• Tratar las características de preferencia por objeto como pesos entrenables limita la adaptación a un espacio latente compacto: bastaron 5 actualizaciones de gradiente para la posición y 20 para la orientación.
• El preentrenamiento cubrió solo cuatro clases de interacción (acercarse o alejarse; ignorar la orientación de un objeto o igualarla con un desfase fijo), y aun así la adaptación produjo comportamientos nuevos, como orientaciones 3D arbitrarias relativas a un objeto.
• La estructura del modelo hizo interpretables los pesos aprendidos: los desfases rotacionales 2D aprendidos convergieron a los desfases reales durante el entrenamiento.
• A diferencia de los métodos de campos de potencial, la red de relaciones no está obligada a producir fuerzas paralelas al vector robot–objeto, lo que evita fallos cuando un obstáculo está en la misma dirección que el objetivo.
• Inicializar las características de posición de los objetos de repulsión, atracción y objetivo en 1,0; 0,5 y 0,0 hizo que la interpolación entre características diera un comportamiento interpolado, de modo que los objetos nuevos pueden empezar como «ignorar» en el punto medio.

Resultados principales

• Estudio con 10 estudiantes de la CMU en tres tareas simuladas con un manipulador, aplicando perturbaciones con teclas del ordenador.
• Tarea 1 (llevar una taza frágil a poca altura sobre la mesa): los usuarios valoraron que OPA entendía mejor sus preferencias, requería menos esfuerzo y era algo más predecible que una línea base que pasa a compensación de gravedad durante la perturbación.
• Tarea 2 (presentar una sartén con una orientación elegida): error medio de orientación de 0,2576 rad, el 16 % del máximo posible de π/2; cuartiles de satisfacción 3,5 / 4,0 / 4,0 en una escala de cinco puntos.
• Tarea 3 (añadir un paso de escaneo de código de barras antes del contenedor): cuartiles de «entendió mis intenciones» 4,0 / 4,0 / 5,0 en una escala de cinco puntos.
• La adaptación en línea tarda en total menos de 0,5 s; preentrenar cada red lleva 12 minutos para 100 épocas en la GPU de un portátil, tras 4 minutos para generar 3000 trayectorias sintéticas con 9 procesos en paralelo.

Limitaciones

• Los autores afirman que OPA se basa en acciones centradas en objetos planteadas como alcanzar y evitar; no se contemplan el agarre ni la aplicación de fuerza (por ejemplo, limpiar una superficie).
• Supone que cada objeto puede detectarse, identificarse de forma única y obtenerse su pose 6D; los entornos no estructurados quedan para trabajo futuro.
• Los resultados son sensibles a la tasa de aprendizaje de la adaptación y al número de pasos de gradiente: en la Tarea 1, dos usuarios vieron que el robot se quedaba cerca de la mesa o ignoraba el objetivo, y en la Tarea 3 dos dijeron que el cuenco debería haberse acercado más al escáner.
• No se cubren objetivos centrados en la tarea que no son relativos a un objeto, como dibujar.
• El estudio con usuarios usó un manipulador simulado perturbado con teclas del teclado, no contacto físico con un robot real.

Impacto en el campo

Ganador del premio ICRA 2023 Outstanding Physical Human-Robot Interaction Paper, con 7 citas. El artículo enlaza vídeos, código y material complementario; la página oficial del proyecto remite al repositorio de código.

Resumen

Para que los robots puedan desplegarse eficazmente en entornos y tareas nuevos, deben ser capaces de entender la retroalimentación que expresan los humanos durante una intervención. Esta puede corregir un comportamiento no deseado o indicar preferencias adicionales. Los métodos existentes requieren episodios repetidos de interacción o asumen características de recompensa conocidas de antemano, lo cual es ineficiente en datos y difícilmente se transfiere a tareas nuevas. Relajamos estos supuestos describiendo las tareas humanas en términos de subtareas centradas en objetos e interpretando las intervenciones físicas en relación con objetos concretos. Nuestro método, Object Preference Adaptation (OPA), consta de dos etapas clave: 1) preentrenar una política base para producir una amplia variedad de comportamientos y 2) actualizar en línea solo ciertos pesos del modelo según la retroalimentación humana. La clave de nuestra adaptación, rápida y a la vez sencilla, es que la dinámica general de interacción entre agentes y objetos permanece fija y solo se actualizan las preferencias específicas de cada objeto. Nuestra adaptación ocurre en línea, requiere una sola intervención humana (one-shot) y produce comportamientos nuevos nunca vistos durante el entrenamiento. Entrenada con datos sintéticos baratos en lugar de costosas demostraciones humanas, nuestra política muestra una adaptación notable a las perturbaciones humanas en tareas exigentes y realistas en nuestro estudio con usuarios. Vídeos, código y material complementario: https://alvinosaur.github.io/AboutMe/projects/opa.

Enlaces

• arXiv 2203.04951: https://arxiv.org/abs/2203.04951
• DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
• PDF: https://arxiv.org/pdf/2203.04951v1
• Código: https://github.com/Alvinosaur/opa
• Página del proyecto: https://alvinosaur.github.io/AboutMe/projects/opa