What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Autores: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Seis algoritmos de aprendizaje offline probados en 5 tareas de manipulación simuladas y 3 reales: BC-RNN, dependiente del historial, es el que mejor aprende de demostraciones humanas, mientras que el RL por lotes tiene dificultades con datos humanos.

Por qué importa

Para quien recopile datos teleoperados, el estudio da ajustes concretos: usar una política dependiente del historial, incluir una cámara de muñeca y aleatorización de imagen por desplazamiento de píxeles, mantener reducidas las entradas propioceptivas y contar con que seleccionar el checkpoint por la pérdida de validación elija una política más débil. Los hiperparámetros ajustados en simulación se aplicaron a un brazo Franka real sin ajuste en el mundo real y aun así produjeron políticas funcionales para Lift y Can.

Problema

El aprendizaje por imitación y el aprendizaje por refuerzo por lotes (offline) a partir de demostraciones humanas carecían de conjuntos de datos humanos de código abierto y de implementaciones reproducibles para la manipulación robótica, por lo que era difícil juzgar qué métodos y decisiones de diseño funcionan. Las demostraciones humanas difieren de los datos generados por máquina: pueden no ser markovianas, su calidad varía entre operadores y la pérdida de entrenamiento es solo un sustituto de la tasa de éxito en la tarea usada en la evaluación.

Solución propuesta

Los autores recopilaron demostraciones teleoperadas mediante RoboTurk para cinco tareas simuladas (Lift, Can, Square, Transport, Tool Hang), como conjuntos de datos Proficient-Human de un solo operador (200 demostraciones) y Multi-Human de seis operadores (300 demostraciones), además de conjuntos de datos generados por máquina para Lift y Can y conjuntos de datos reales de 200 demostraciones en un brazo Franka para Lift, Can y Tool Hang. Entrenaron BC, BC-RNN, HBC, BCQ, CQL e IRIS con observaciones de baja dimensión y de imagen, evaluaron online en simulación cada checkpoint y variaron el espacio de observación, los hiperparámetros, el tamaño del conjunto de datos y la regla de selección de políticas.

Ideas clave

Los modelos dependientes del historial (BC-RNN, HBC, IRIS) aprenden mucho mejor de demostraciones humanas que BC simple; la diferencia entre BC-RNN y BC crece con el horizonte de la tarea (unos 55 % en Transport (PH) frente a unos 5 % en Square (PH)) y con datos de varios operadores.
BCQ y CQL funcionan bien con datos de calidad mixta generados por máquina, pero rinden mal con conjuntos de datos humanos, incluso en un conjunto de diagnóstico de demostraciones exitosas y fallidas emparejadas de un solo operador.
El diseño de las observaciones importa: añadir la velocidad del efector final o los estados articulares redujo el rendimiento de los agentes de baja dimensión entre un 49 % y un 88 % (relativo), mientras que quitar la aleatorización por desplazamiento de píxeles o la cámara de muñeca perjudicó a los agentes con imágenes.
Seleccionar un checkpoint por la menor pérdida de validación o por la última época dio políticas entre un 10 % y un 100 % peores que el mejor checkpoint, así que la selección offline de políticas sigue siendo un problema abierto.
Las tareas sencillas (Lift, Can) alcanzaron un 75 %–100 % de éxito con el 20 % de los datos, mientras que las complejas (Square, Transport) siguieron mejorando al crecer los datos.

Resultados principales

BC-RNN con datos Proficient-Human de baja dimensión (3 semillas): Lift 100 %, Can 100 %, Square 84,0 %, Transport 71,3 %, Tool Hang 19,3 %.
BC-RNN con observaciones de imagen: Square (PH) 82,0 %, Transport (PH) 72,0 %, Tool Hang (PH) 67,3 %, frente a 41,3 %, 0,7 % y 3,3 % de BCQ.
Con datos Multi-Human de baja dimensión, BCQ alcanzó 62,7 % en Can y 14,0 % en Square, frente a 100 % y 78,0 % de BC-RNN.
En las mezclas de Square de 200 demostraciones con distinta calidad de operador, BC-RNN obtuvo 55,3 %, 73,3 % y 74,0 %, por debajo de su 84,0 % en el conjunto de datos Square (PH) de 200 demostraciones de un solo operador.
Brazo Franka real, BC-RNN, último checkpoint en 30 ejecuciones, sin ajuste en el mundo real: Lift 96,7 %, Can 73,3 %, Tool Hang 3,3 %.
En la tarea Can real, quitar la aleatorización por desplazamiento de píxeles bajó el éxito a 26,7 % y quitar la cámara de muñeca, a 43,3 %.

Limitaciones

Los resultados en simulación reportan el mejor checkpoint encontrado evaluando online cada checkpoint, algo que los autores señalan que no es factible en un robot real; los resultados reales usan en su lugar el último checkpoint.
Los experimentos reales cubren tres tareas con 30 ejecuciones cada una y sin ajuste de hiperparámetros en el mundo real; los autores llaman a estos resultados una cota inferior, y la política real de Tool Hang tuvo éxito en el 3,3 % de las ejecuciones.
Solo existen conjuntos de datos generados por máquina para Lift y Can, porque el agente de RL no pudo resolver las otras tareas ni siquiera con un ajuste considerable.
El estudio compara seis algoritmos existentes en lugar de proponer una solución; cerrar la brecha del RL por lotes con datos humanos y mejorar la selección offline de políticas quedan para trabajo futuro.
La copia de PMLR remite a apéndices (detalles de las tareas, Tablas 27 y 28 sobre el tamaño del conjunto de datos, hiperparámetros de BCQ y CQL) que no incluye.

Impacto en el campo

Citado 548 veces (cifra según se indica). Los autores publicaron en código abierto los conjuntos de datos y todas las implementaciones de los algoritmos en la página del proyecto, lo que ofrece un conjunto compartido de tareas de manipulación con demostraciones humanas y líneas base para comparar métodos de aprendizaje offline.

Resumen

Imitar demostraciones humanas es un enfoque prometedor para dotar a los robots de diversas capacidades de manipulación. Aunque se han hecho avances recientes en el aprendizaje por imitación y en el aprendizaje por refuerzo por lotes (offline), la falta de conjuntos de datos humanos de código abierto y de métodos de aprendizaje reproducibles dificulta evaluar el estado del campo. En este artículo realizamos un estudio extenso de seis algoritmos de aprendizaje offline para manipulación robótica en cinco tareas de manipulación de varias etapas simuladas y tres del mundo real, de complejidad variable y con conjuntos de datos de calidad variable. Nuestro estudio analiza los retos más críticos al aprender a partir de datos humanos offline para manipulación. A partir del estudio derivamos una serie de lecciones, entre ellas la sensibilidad a distintas decisiones de diseño algorítmico, la dependencia de la calidad de las demostraciones y la variabilidad según el criterio de parada debida a los distintos objetivos en entrenamiento y evaluación. También destacamos oportunidades del aprendizaje a partir de conjuntos de datos humanos, como la capacidad de aprender políticas competentes en tareas exigentes de varias etapas fuera del alcance de los métodos actuales de aprendizaje por refuerzo, y la capacidad de escalar fácilmente a escenarios de manipulación naturales del mundo real en los que solo se dispone de señales sensoriales en bruto. Hemos publicado en código abierto nuestros conjuntos de datos y todas las implementaciones de los algoritmos para facilitar la investigación futura y las comparaciones justas en el aprendizaje a partir de datos de demostración humana en https://arise-initiative.github.io/robomimic-web/

Enlaces

arXiv 2108.03298: https://arxiv.org/abs/2108.03298
DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
Página del proyecto: https://arise-initiative.github.io/robomimic-web/