Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

Autores: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Las demostraciones generadas con RRT tienen una alta entropía de acciones que perjudica a la clonación de comportamiento; datos de planificador más coherentes entrenan políticas de difusión para tareas con abundante contacto que se transfieren zero-shot al hardware.

Por qué importa

El artículo muestra que el diseño del planificador, y no solo la cantidad de datos, decide si la clonación de comportamiento a partir de demostraciones planificadas funciona: los datos de menor entropía superaron a los datos de RRT, probabilísticamente completo, aunque RRT cubría los estados un poco mejor. Ofrece una forma de obtener datos de entrenamiento para tareas con contactos de todo el brazo y coordinación de varios dedos, que las interfaces de teleoperación actuales no permiten demostrar con facilidad.

Problema

La clonación de comportamiento ha funcionado sobre todo donde las personas pueden teleoperar las demostraciones, pero las interfaces de teleoperación habituales solo siguen los efectores finales, así que las demostraciones con contacto de todo el brazo o coordinación de varios dedos son difíciles de recoger. El aprendizaje por refuerzo como fuente de datos trata las restricciones como penalizaciones de la recompensa, lo que complica el diseño de la recompensa y la transferencia sim-to-real. El artículo se pregunta cómo deberían generar datos de entrenamiento para estas tareas los planificadores de contacto basados en modelos.

Solución propuesta

Un planificador que usa un modelo de contacto suavizado y cuasidinámico propone un plan, que se vuelve a ejecutar por tramos en un simulador físico sin suavizado de contacto para producir demostraciones de estado-acción; después, los estados alcanzados se reetiquetan como objetivos (hindsight goal relabelling). Con estos datos se entrena una política de difusión condicionada por objetivo (U-Net 1D con condicionamiento FiLM). El planificador se modifica para ganar coherencia: una búsqueda voraz para la tarea bimanual y, para la tarea en la mano, un mapa de rutas probabilístico disperso sobre las 24 orientaciones canónicas del cubo con primitivas fijas y agarres precalculados.

Ideas clave

• RRT muestrea subobjetivos en cada expansión del árbol, lo que produce demostraciones con una alta entropía de acciones de las que es difícil aprender, sobre todo con pocos datos.
• Una mejor cobertura de estados no dio mejores políticas: los datos de RRT cubrían algo más de estados y, sin embargo, entrenaron políticas claramente peores que los datos del planificador voraz.
• El reetiquetado de objetivos a posteriori (hindsight goal relabelling) convierte las demostraciones subóptimas o fallidas en pares de entrenamiento válidos para los estados que realmente alcanzaron.
• En la tarea del cubo, un híbrido de una política principal y una política de ajuste final contrarresta el desequilibrio de los datos y elevó el éxito en simulación alrededor de un 10 % respecto a una única política unificada.
• Se usaron horizontes de acción largos (40 y 60 pasos) porque los horizontes cortos producían movimientos bruscos al alternar entre modos de acción.

Resultados principales

• IiwaBimanual en simulación (100 posiciones iniciales): los datos del planificador voraz alcanzan un 99 % de éxito con 100 demostraciones frente al 44 % de los datos de Contact-RRT; con 500, 1000 y 5000 demostraciones es un 98 %, 99 % y 100 % frente a un 63 %, 88 % y 84 %.
• Simulación, 100 poses iniciales: AllegroHand-Easy 82 % y AllegroHand-Hard 68 % con la política híbrida, frente a 74 % y 57 % con una política unificada; IiwaBimanual 99 %.
• AllegroHand en hardware (política híbrida): 15 de 24 ensayos con éxito en cada variante (62,5 %), con errores de orientación en los ensayos exitosos de 13,7 ± 5,9° (Easy) y 15,5 ± 5,2° (Hard).
• IiwaBimanual en hardware: 18 de 20 ensayos con éxito (90 %); los ensayos fallidos terminaron con un error de orientación de unos 15°, justo por encima del umbral de 0,2 rad (11,5°).
• La transferencia fue zero-shot pese a la discrepancia del modelo (objeto real de 1,25 kg y 0,59 m de diámetro frente a 1,0 kg y 0,6 m en simulación) y sin domain randomization.

Limitaciones

• La política a menudo no reacciona ante estados fuera de distribución ausentes de los datos de entrenamiento, una consecuencia de las primitivas precalculadas; esto ocurre con más frecuencia en hardware.
• Una corrección al estilo de DAgger es difícil de aplicar porque el planificador no encuentra soluciones a partir de configuraciones arbitrarias del sistema.
• La política de IiwaBimanual a veces oscila entre la rotación en sentido horario y antihorario, por lo que a menudo tarda más de lo necesario; la política de AllegroHand a veces usa secuencias de primitivas más largas de lo necesario.
• La mejor proporción de mezcla de datos para una política unificada de AllegroHand queda abierta, y arrancar la inferencia con la predicción de acción anterior para reducir los movimientos bruscos queda para trabajo futuro.
• No se usó domain randomization de la geometría ni de la fricción del objeto o del robot durante el entrenamiento ni durante la generación de datos.

Impacto en el campo

El artículo ganó el RA-L Best Paper Award (indicado como RA-L 2026) y tiene 23 citas. Publica un vídeo de los experimentos en hardware (https://youtu.be/CxgjJmiiEhI); el artículo no menciona ninguna publicación de código ni de conjunto de datos.

Resumen

El enorme éxito de la clonación de comportamiento (BC) en la manipulación robótica se ha limitado en gran medida a tareas en las que las demostraciones pueden recogerse eficazmente mediante teleoperación humana. Sin embargo, las demostraciones para tareas de manipulación con abundante contacto que requieren una coordinación compleja de múltiples contactos son difíciles de recoger debido a las limitaciones de las interfaces de teleoperación actuales. Investigamos cómo aprovechar la planificación y la optimización basadas en modelos para generar datos de entrenamiento para tareas de manipulación diestra con abundante contacto. Nuestro análisis revela que planificadores basados en muestreo populares como el rapidly exploring random tree (RRT), aunque son eficientes para la planificación de movimiento, producen demostraciones con una entropía desfavorablemente alta. Esto motiva modificaciones en nuestro pipeline de generación de datos que priorizan la coherencia de las demostraciones sin perder la diversidad de soluciones. Combinado con un enfoque de BC condicionado por objetivo y basado en difusión, nuestro método permite un aprendizaje eficaz de políticas y una transferencia zero-shot al hardware en dos tareas difíciles de manipulación con abundante contacto.

Enlaces

• arXiv 2412.09743: https://arxiv.org/abs/2412.09743
• DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
• PDF: https://arxiv.org/pdf/2412.09743v1