Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

Autores: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una GNN basada en partículas predice el movimiento de los objetos en las poses clave de las primitivas de comportamiento; buscar parámetros de las primitivas frente a 3-4 fotogramas clave de una demostración permite a un brazo guardar objetos en estanterías abarrotadas.

Por qué importa

La red solo se consulta en las poses clave de cada primitiva, lo que, según señalan los autores, reduce el número de pasadas hacia delante y el error de predicción acumulado en horizontes largos. Entrenado solo con objetos simulados en forma de caja, el sistema se transfirió en zero-shot a un brazo Kinova Gen3 real y manejó objetos fuera de distribución como una botella, un rodillo quitapelusas y artículos pesados o de forma trapezoidal.

Problema

Guardar un objeto en una estantería abarrotada implica primero hacer sitio empujando y deslizando los objetos que ya hay, lo que conlleva contactos entre múltiples objetos y fricciones difíciles de modelar, en un horizonte largo. Los sistemas preprogramados no se adaptan a nuevas disposiciones de la estantería, los métodos de manipulación a nivel de categoría necesitan una costosa recogida de datos y etiquetado humano, y el aprendizaje por refuerzo sin modelo necesita demasiado tiempo de entrenamiento para aprender desde cero tareas de horizonte largo en un robot real.

Solución propuesta

Cada objeto se modela como partículas distribuidas uniformemente, y una red neuronal de grafos entrenada en simulación predice la transformación rígida de cada objeto tras una primitiva de comportamiento (barrer, empujar o transportar); el grafo incluye aristas de la pinza a los objetos, aristas a las partículas estáticas de la estantería y la mesa, y una pérdida auxiliar sobre las posiciones predichas de la pinza. En ejecución, el random shooting muestrea los parámetros de cada primitiva, la red predice el resultado, y se ejecutan con un controlador en el espacio operacional (Operational Space Controller) los parámetros cuyas posiciones de objetos predichas están más cerca del fotograma clave de la demostración.

Ideas clave

Representar la acción del robot como partículas de la pinza con movimiento planificado, y añadir aristas entre los objetos dinámicos y las partículas estáticas de la estantería y la mesa, mejora la predicción respecto a una GNN al estilo de RoboCraft en las primitivas más difíciles de barrido y transporte.
Predecir el estado de los objetos solo en las poses clave de las primitivas, en lugar de en cada paso de control, reduce las pasadas hacia delante y el error acumulado en tareas de horizonte largo.
Un modelo dinámico aprendido combinado con búsqueda superó al RL sin modelo (SAC, PPO) y a PPO con un espacio de acciones parametrizado por primitivas en la misma tarea de almacenamiento de horizonte largo en simulación.
Random Shooting, el método de entropía cruzada (Cross-Entropy Method) y el descenso de gradiente dieron resultados similares como optimizadores de los parámetros de las primitivas.
Un conjunto de 2 habilidades (empujar y transportar) alcanzó el mismo 95 % de éxito en el mundo real que el conjunto de 3 habilidades, lo que los autores atribuyen a que el modelo capta las interacciones entre el objeto sujeto y los objetos de la estantería.

Resultados principales

Mundo real, seis configuraciones con 10 ensayos cada una: 95 % de éxito con 3 habilidades y 95 % con 2 habilidades, frente al 18 % de una heurística ajustada a mano sin predicción de la dinámica.
RoboCraft como dinámica aprendida en el mismo pipeline: la Tabla 3 reporta una media del 48 %, mientras que sus seis puntuaciones por configuración en la misma tabla (4, 7, 4, 6, 7 y 5 de 10) suman 33/60, es decir, un 55 %.
Error de control en simulación (MSE): 0,905 mm para el método, frente a 22,925 mm del PPO parametrizado, 34,861 mm de la heurística, 87,479 mm de PPO y 265,411 mm de SAC.
Error de predicción de la primitiva de transporte: MSE de 0,666 mm, EMD de 31,232 mm y distancia de Chamfer de 38,068 mm, frente a 1,091, 42,162 y 55,615 mm de RoboCraft; en la primitiva de empuje, más sencilla, RoboCraft tiene un MSE menor (0,216 frente a 0,292 mm), dentro de una desviación estándar.
Objetos deformables (apéndice): 6/10 con 3 habilidades y 4/10 con 2 habilidades, frente a 2/10 de RoboCraft y 0/10 de la heurística.
Datos de entrenamiento: 300 episodios con parámetros aleatorios por primitiva; la precisión de predicción de empuje y barrido se estabiliza en unas 50 muestras y la de transporte en unas 140.

Limitaciones

Depende del etiquetado humano manual de fotogramas clave ordenados a partir de las demostraciones, lo que según los autores podría limitar la escalabilidad a escenarios más grandes y complejos.
Los objetos se representan como nubes de puntos en forma de caja en entrenamiento e inferencia, lo que según los autores puede no reflejar la geometría real de los objetos cuando las interacciones y los contactos son más complejos.
La percepción en el mundo real trata cada objeto como un cuboide y lo identifica mediante correspondencias SIFT con imágenes laterales y superiores captadas de antemano para una base de datos de objetos conocidos.
El éxito cae con objetos deformables (mejor resultado, 6/10).
La biblioteca de primitivas (barrer, empujar, transportar) está diseñada a mano; los autores citan el diseño de primitivas y la composición de habilidades como líneas de investigación abiertas.

Impacto en el campo

Finalista del CoRL 2023 Best Paper / Best Student Paper Award y citado 32 veces. El artículo aporta un benchmark de almacenamiento para manipulación de horizonte largo construido en robosuite y MuJoCo; no da ningún enlace a código ni a datos.

Resumen

El almacenamiento (stowing), la tarea de colocar objetos en estanterías o contenedores abarrotados, es una tarea habitual en las operaciones de almacén y de fabricación. Sin embargo, esta tarea sigue realizándola predominantemente trabajadores humanos, ya que es difícil de automatizar debido a las complejas interacciones entre múltiples objetos y a su naturaleza de horizonte largo. Los trabajos anteriores suelen implicar una amplia recogida de datos y un costoso etiquetado humano de priors semánticos para diversas categorías de objetos. Este artículo presenta un método para aprender una política robótica de almacenamiento generalizable a partir de un modelo predictivo de las interacciones entre objetos y una única demostración con primitivas de comportamiento. Proponemos un nuevo marco que utiliza redes neuronales de grafos (Graph Neural Networks) para predecir las interacciones entre objetos dentro del espacio de parámetros de las primitivas de comportamiento. Además, empleamos una optimización de trayectorias aumentada con primitivas para buscar los parámetros de una biblioteca predefinida de primitivas de comportamiento heterogéneas con los que instanciar la acción de control. Nuestro marco permite a los robots ejecutar con destreza tareas de almacenamiento de horizonte largo con unos pocos fotogramas clave (3-4) de una única demostración. A pesar de haberse entrenado únicamente en simulación, nuestro marco demuestra una notable capacidad de generalización. Se adapta de forma eficiente a un amplio espectro de condiciones del mundo real, incluidos distintos anchos de estantería, cantidades variables de objetos y objetos con atributos diversos, como tamaños y formas.

Enlaces

arXiv 2309.16873: https://arxiv.org/abs/2309.16873
DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
PDF: https://arxiv.org/pdf/2309.16873v1