Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

Autores: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un agente de RL elige entre primitivas programadas a mano de alcance, agarre, empuje y liberación o una acción motora en bruto, y fija sus parámetros, lo que reduce la carga de exploración en la manipulación de horizonte largo.

Por qué importa

La robótica ya cuenta con módulos fiables para agarrar y alcanzar, y este trabajo muestra que un algoritmo de RL genérico puede aprender a encadenarlos sin un plan de tareas escrito a mano. Como la política actúa a través de primitivas, la misma política se transfirió de la simulación a un robot real una vez reimplementadas las primitivas en el hardware.

Problema

El aprendizaje por refuerzo profundo tiene dificultades en la manipulación de horizonte largo porque el robot debe explorar un espacio muy grande de acciones motoras de bajo nivel. Los métodos de RL jerárquico que aprenden habilidades desde cero necesitan muchas muestras, mientras que la planificación de tareas y movimientos y la programación neuronal dependen del conocimiento del dominio o de supervisión humana para componer módulos ya construidos.

Solución propuesta

MAPLE plantea el control como un MDP de acciones parametrizadas: en cada paso, una política de tarea de alto nivel elige una primitiva (alcance, agarre, empuje, liberación de la pinza o una única acción atómica) y una subred de parámetros por primitiva fija sus entradas, como una posición objetivo y un ángulo de guiñada. Ambas se entrenan con un Soft Actor-Critic modificado, y una puntuación analítica de affordance añadida a la recompensa orienta los parámetros de las primitivas hacia los objetos relevantes. Mantener la acción atómica permite al agente manejar etapas, como la inserción rica en contacto, que las primitivas no pueden expresar.

Ideas clave

• Una política jerárquica, que elige primero la primitiva y luego sus parámetros, superó a una política plana que muestrea el tipo y los parámetros de forma independiente
• Conservar la primitiva atómica fue necesario para Peg Insertion: la versión sin ella llegó al 0 % mientras que MAPLE llegó al 100 %
• Sin recompensas de affordance, o sin la primitiva de alcance o de agarre, el agente no logró resolver Pick and Place
• Una puntuación de composicionalidad basada en la distancia de Levenshtein sobre las secuencias de primitivas aprendidas es menor en las tareas ricas en contacto (Peg Insertion 0,24, Wipe 0,67) que en las prensiles (Lift y Door 1,0)
• Un esquema de tarea aprendido puede reutilizarse en una tarea similar, de modo que solo hay que aprender los parámetros de las primitivas

Resultados principales

• Éxito final medio en ocho tareas simuladas: MAPLE 90 %, Atomic SAC 19 %, Flat 36 %, Open Loop 41 %, DAC 11 %, MAPLE sin acciones atómicas 79 %
• La mejora frente a la línea base Atomic se indica como un aumento del 70 % en la introducción y como un éxito un 71 % mayor con recompensas 2-3× mayores en la sección de resultados
• El artículo describe MAPLE como el único método que resolvió de forma consistente todas las tareas de un solo brazo del benchmark estándar robosuite
• Transferir el esquema de la tarea Pick and Place con lata de refresco a una variante con pan aprendió la tarea objetivo más de 5× más rápido que entrenar desde cero
• Éxito en el mundo real en 30 ensayos por tarea: 93 % en Stack (97 % en simulación) y 83 % en Cleanup (93 % en simulación)
• HIRO no logró avanzar y se dejó fuera de los resultados

Limitaciones

• Los autores afirman que las acciones atómicas pueden cubrir huecos pequeños, pero no los grandes que necesitan muchas acciones de bajo nivel, y que hace falta más trabajo sobre exploración y asignación de crédito
• Las puntuaciones de affordance se definen a mano a partir de los estados de los objetos; los autores mencionan las affordances aprendidas como trabajo futuro
• Wipe sigue siendo difícil: MAPLE alcanza en ella un 42 % de éxito
• En las pruebas en el mundo real, el cabeceo, la guiñada y la altura de la mesa de los objetos se fijaron en el código para sortear errores de estimación de pose, y las oclusiones necesitaron una rutina de levantar y volver a estimar
• Los fallos en el mundo real se debieron sobre todo a agarres deficientes repetidos o a que el robot alcanzaba los límites articulares y activaba una parada de seguridad

Impacto en el campo

Ganador del premio ICRA 2022 Outstanding Learning Paper, con 155 citas. Los autores publican código y vídeos en la página del proyecto.

Resumen

Las tareas de manipulación realistas requieren que un robot interactúe con el entorno mediante una secuencia prolongada de acciones motoras. Aunque los métodos de aprendizaje por refuerzo profundo han surgido recientemente como un paradigma prometedor para automatizar comportamientos de manipulación, suelen quedarse cortos en tareas de horizonte largo debido a la carga de exploración. Este trabajo presenta MAnipulation Primitive-augmented reinforcement LEarning (MAPLE), un marco de aprendizaje que amplía los algoritmos estándar de aprendizaje por refuerzo con una biblioteca predefinida de primitivas de comportamiento. Estas primitivas de comportamiento son módulos funcionales robustos especializados en alcanzar objetivos de manipulación, como agarrar y empujar. Para usar estas primitivas heterogéneas, desarrollamos una política jerárquica que involucra las primitivas e instancia sus ejecuciones con parámetros de entrada. Demostramos que MAPLE supera por un margen significativo a los enfoques de referencia en un conjunto de tareas de manipulación simuladas. También cuantificamos la estructura composicional de los comportamientos aprendidos y destacamos la capacidad de nuestro método para transferir políticas a nuevas variantes de tareas y a hardware físico. Hay vídeos y código disponibles en https://ut-austin-rpl.github.io/maple

Enlaces

• arXiv 2110.03655: https://arxiv.org/abs/2110.03655
• DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
• PDF: https://arxiv.org/pdf/2110.03655v1
• Página del proyecto: https://ut-austin-rpl.github.io/maple