Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

Autores: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Suavizar la dinámica de contacto, muestreando como hace el RL o analíticamente con una barrera logarítmica, da gradientes útiles; con un modelo cuasidinámico convexo, RRT planifica después tareas diestras en alrededor de un minuto.

Por qué importa

El método ofrece una alternativa en línea y basada en modelos al entrenamiento de políticas de aprendizaje por refuerzo para tareas con contactos abundantes: los planes de rotación en la mano, colocación de un bolígrafo, recogida de un plato contra una pared y apertura de una puerta se producen en el orden de un minuto en una CPU. Los autores lo contrastan con herramientas de RL que dependen de cómputo fuera de línea de horas o días, y describen su planificador como generalizable respecto a entornos y tareas.

Problema

La planificación basada en modelos a través del contacto se enfrenta a tres obstáculos: el número de modos de contacto se dispara (la manipulación en la mano en 3D puede tener billones), la dinámica de contacto es rígida y no suave, por lo que los gradientes explotan o saltan, y el problema de planificación no es convexo. El aprendizaje por refuerzo maneja la manipulación con contactos abundantes muestreando y promediando sobre los modos de contacto, pero depende de un cómputo fuera de línea que se mide en horas o días. Los planificadores basados en muestreo existentes para el contacto enumeran o muestrean explícitamente los modos de contacto y escalan mal con el número de contactos.

Solución propuesta

Los autores muestran primero que el suavizado aleatorizado (muestrear y promediar, como hace el RL) y el suavizado analítico calculan modelos lineales locales del mismo sustituto suave, de forma equivalente para sistemas sencillos. Después construyen CQDC, un modelo de contacto convexo, cuasidinámico y diferenciable planteado como un programa cónico de segundo orden con la relajación de fricción de Anitescu, cuyos gradientes proceden de las condiciones KKT y que se suaviza analíticamente con una relajación de barrera logarítmica. Por último, ejecutan RRT con una métrica de distancia de Mahalanobis local y un paso de extensión construido a partir de las linealizaciones suavizadas, añaden un paso de muestreo de contactos que vuelve a colocar el robot en contacto y refinan la trayectoria resultante con MPC iterativo y atajos (shortcutting).

Ideas clave

El suavizado aleatorizado (como el que usa el RL) y el suavizado analítico son dos formas de calcular modelos lineales locales de la misma dinámica suavizada; son equivalentes para sistemas sencillos y rindieron de forma similar en los ejemplos complejos.
El suavizado analítico mediante una relajación con barrera logarítmica necesita una sola resolución por linealización, por lo que fue más rápido que el suavizado aleatorizado, que promedia 100 muestras.
El modelo cuasidinámico prescinde de las velocidades y de la dinámica transitoria, lo que reduce el estado a la mitad y permite pasos de tiempo mucho mayores, de modo que cada linealización informa al planificador de más comportamiento a largo plazo.
Una métrica de Mahalanobis local construida a partir de linealizaciones suavizadas permite a RRT respetar la alcanzabilidad por contacto; una métrica euclídea ponderada globalmente uniforme y ajustada a mano rindió mucho peor.
El muestreo de contactos fue esencial para las tareas que requieren reposicionar el robot (empuje plano, mano plana, rotación en la mano con Allegro), pero no para la recogida del plato ni para la colocación del bolígrafo.

Resultados principales

MPC iterativo, coste mínimo en 10 iteraciones y 5 ensayos: rotación en la mano con Allegro 5,78 con suavizado analítico frente a 44,68 con gradientes exactos (sin suavizar); empuje plano 11,74 frente a 31,64.
En la tarea de la mano plana, que pasa por pocos cambios de modo de contacto, los gradientes exactos también rindieron bien (coste de 18,49 frente a 26,55 con el analítico y 17,87 con el aleatorizado de primer orden).
Con 100 muestras en 32 hilos, el suavizado aleatorizado fue de 2 a 3 veces más lento que el suavizado analítico en MPC iterativo (rotación con Allegro: 40,07 s frente a 19,59 s).
RRT durante 1000 iteraciones con suavizado analítico tardó 3,25 s (empuje plano), 31,01 s (rotación con Allegro), 24,84 s (colocación del bolígrafo), 12,42 s (apertura de la puerta) y 117,16 s (recogida del plato); el suavizado aleatorizado de primer orden tardó de 7,50 s a 161,64 s.
En todas las tareas de RRT, usar linealizaciones exactas para la métrica y la extensión dio una distancia al objetivo y una cobertura del espacio mucho peores que cualquier esquema de suavizado.
Todos los experimentos se ejecutaron en un único equipo de sobremesa con una CPU AMD Threadripper 2950 (16 núcleos, 32 hilos) y 32 GB de RAM.

Limitaciones

El muestreo de contactos teletransporta el robot entre configuraciones, lo cual no es físico; solo funciona cuando el objeto permanece en equilibrio estático sin los dedos que se mueven (por ejemplo, una pelota apoyada en una palma orientada hacia arriba), no con una mano orientada hacia abajo.
Los pasos de extensión grandes producen artefactos no físicos derivados de la relajación convexa de Anitescu de la fricción de Coulomb, por lo que hace falta una pasada de refinamiento con MPC iterativo y atajos para obtener trayectorias físicamente realistas.
El supuesto cuasidinámico deja de valer para comportamientos muy dinámicos.
El crecimiento del árbol aún puede atascarse y formar "escobas" de muchos nodos hijos fallidos a partir de un mismo padre.
Todos los resultados de esta versión son en simulación (implementados en Drake); la planificación en tiempo real se menciona como trabajo futuro.

Impacto en el campo

El artículo recibió el premio T-RO 2024 King-Sun Fu Memorial Best Paper Award (mención de honor) y tiene 210 citas. Publica un vídeo de los planes generados; esta versión no incluye ningún enlace al código.

Resumen

El éxito empírico del aprendizaje por refuerzo (Reinforcement Learning, RL) en el ámbito de la manipulación con contactos abundantes deja mucho por entender desde una perspectiva basada en modelos, donde las dificultades clave suelen atribuirse a (i) la explosión de modos de contacto, (ii) una dinámica de contacto rígida y no suave, con los consiguientes gradientes explosivos / discontinuos, y (iii) la no convexidad del problema de planificación. La naturaleza estocástica del RL aborda (i) y (ii) al muestrear y promediar de forma efectiva los modos de contacto. Por otro lado, los métodos basados en modelos han abordado los mismos retos suavizando analíticamente la dinámica de contacto. Nuestra primera contribución es establecer la equivalencia teórica de ambos métodos para sistemas sencillos y aportar una equivalencia cualitativa y empírica en varios ejemplos complejos. Para aliviar aún más (ii), nuestra segunda contribución es una formulación convexa, diferenciable y cuasidinámica de la dinámica de contacto, que admite ambos esquemas de suavizado y que, según demuestran los experimentos, es muy eficaz para la planificación con contactos abundantes. Nuestra última contribución resuelve (iii): mostramos que los algoritmos clásicos de planificación de movimiento basados en muestreo pueden ser eficaces en la planificación global cuando los modos de contacto se abstraen mediante suavizado. Aplicando nuestro método a un conjunto de tareas difíciles de manipulación con contactos abundantes, demostramos que una planificación de movimiento eficiente basada en modelos puede lograr resultados comparables a los del RL con muchísimo menos cómputo. Vídeo: https://youtu.be/12Ew4xC-VwA

Enlaces

arXiv 2206.10787: https://arxiv.org/abs/2206.10787
DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
PDF: https://arxiv.org/pdf/2206.10787v1