Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

Autores: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

LIRF entrena una segunda política que actúa sobre un resultado (tira de una puerta, empuja una torre, gira una válvula) para distinguir el éxito del fracaso, y usa su veredicto como recompensa para la política de la tarea.

Por qué importa

La especificación de la tarea sigue necesitando solo ejemplos de éxito, sin demostraciones, recompensas diseñadas ni sensores adicionales, y aun así funciona cuando el éxito no es visible. Las comprobaciones aprendidas también pueden reutilizarse en el despliegue para detectar ejecuciones incompletas y dejar que la política de la tarea lo intente de nuevo.

Problema

Los métodos de recompensa por ejemplos especifican una tarea con imágenes de resultados exitosos, pero muchos resultados no pueden juzgarse a partir de una imagen pasiva: un tapón de botella flojo parece igual que uno apretado, y el pestillo de una puerta puede quedar oculto detrás de la puerta. Este solapamiento de estados hace que los clasificadores de éxito basados en imágenes fallen en tareas parcialmente observables.

Solución propuesta

Se dan al robot ejemplos físicos 'accionables' de éxito, y se entrena con SAC una política de función de recompensa interactiva (IRF) para que actúe sobre ellos y sobre los resultados fallidos producidos por una política de la tarea inicial entrenada con VICE, de modo que después un clasificador de una sola observación pueda distinguirlos. El veredicto de la IRF se convierte en la recompensa terminal para entrenar la política de la tarea final, y la misma IRF puede ejecutarse tras la ejecución en un bucle de ejecutar y verificar hasta que juzgue la tarea completada.

Ideas clave

• La interacción puede revelar un éxito oculto de la tarea: las IRFs aprendidas tiran de la puerta, empujan el bloque inferior de la torre o aplican un pequeño par en sentido antihorario a la válvula.
• Los clasificadores sobre observaciones únicas sufren de solapamiento de estados (state aliasing), y por eso VICE y GAIfO rinden mal en estas tareas parcialmente observables.
• Basta un clasificador aplicado a una observación tras la interacción para etiquetar el resultado; no hace falta un clasificador sobre toda la trayectoria de la IRF.
• La IRF no usa información privilegiada, así que tras el entrenamiento puede servir como verificador dentro del bucle.
• Una IRF aprendida fue competitiva con las comprobaciones interactivas programadas a mano (Manual IRF), o mejor que ellas.

Resultados principales

• Éxito de la tarea para LIRF / LIRF+Verify (Tabla 1): cierre de la puerta 0,640 / 0,958, apilado de bloques 0,846 / 0,884, atornillado con robot real 0,82 / 0,99.
• VICE alcanza 0,032, 0,310 y 0,02 en las mismas tres tareas, y GAIfO 0,112, 0,275 y 0,0.
• La recompensa con el estado real da 0,714 (puerta), 0,956 (bloques) y 0,87 (atornillado): LIRF+Verify la supera en el cierre de la puerta y en el atornillado pero no en el apilado de bloques, aunque el texto dice que LIRF+Verify supera a todas las líneas base.
• Precisión de clasificación del éxito de la IRF: 0,992 ± 0,006 en el cierre de la puerta, 0,852 ± 0,023 en el apilado de bloques y 0,98 en el atornillado (Tabla 2).
• Ejemplos positivos accionables necesarios: 1 para el atornillado, 110 para el cierre de la puerta y 7k para el apilado de bloques.
• El entrenamiento llevó unos 2M pasos de simulación para las políticas LIRF de cierre de la puerta y de apilado, 50k pasos (unas 10 horas en el robot real) para el atornillado, y unos 20k pasos para cada política IRF.

Limitaciones

• LIRF ayuda sobre todo cuando las políticas de la tarea entrenadas con recompensas de una sola imagen fallan la mayoría de las veces; en entornos totalmente observables las IRFs aportan un beneficio marginal o nulo (según los autores).
• Los ejemplos positivos deben almacenarse físicamente y presentarse al robot; esto es fácil para el atornillado (1 ejemplo) pero engorroso para el apilado de bloques (7k) (según los autores).
• En las dos tareas simuladas las observaciones 'imitan una visión perfecta' (poses del objeto y del robot) en lugar de imágenes de cámara.
• La prueba con robot real es una única tarea de girar una válvula, en la que el bloqueo del tornillo se imita con un motor bajo la válvula.

Impacto en el campo

Ganador del premio al mejor artículo de CoRL 2022 (Best Paper Award), con 6 citas. El artículo afirma que se publicarán todo el código y los entornos, y la página oficial del proyecto enlaza un repositorio de código público.

Resumen

Las interacciones físicas a menudo ayudan a revelar información que no es evidente a simple vista. Por ejemplo, podemos tirar de la pata de una mesa para evaluar si está bien construida, o poner una botella de agua boca abajo para comprobar que es estanca. Proponemos entrenar robots para que adquieran automáticamente esos comportamientos interactivos, con el fin de evaluar el resultado de un intento de ejecución de una habilidad robótica. Estas evaluaciones sirven a su vez como "funciones de recompensa interactivas" (IRFs) para entrenar políticas de aprendizaje por refuerzo que realicen la habilidad objetivo, como atornillar bien la pata de la mesa. Además, incluso después de que las políticas de la tarea estén totalmente entrenadas, las IRFs pueden servir como mecanismos de verificación que mejoran la ejecución de la tarea en línea. Para cualquier tarea dada, nuestras IRFs pueden entrenarse cómodamente usando solo ejemplos de resultados exitosos, y después no se necesita ninguna especificación adicional para entrenar la política de la tarea. En nuestras evaluaciones del cierre de una puerta con pestillo y del apilado de bloques con peso en simulación, y del apriete de un tornillo en un robot real, las IRFs permiten grandes mejoras de rendimiento, superando incluso a líneas base con acceso a demostraciones o a recompensas diseñadas cuidadosamente. Sitio web del proyecto: https://sites.google.com/view/lirf-corl-2022/

Enlaces

• arXiv 2212.08961: https://arxiv.org/abs/2212.08961
• DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
• PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
• Código: https://github.com/penn-pal-lab/lirf_public
• Página del proyecto: https://sites.google.com/view/lirf-corl-2022/