Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

Autores: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Imágenes generadas de una persona realizando cada subtarea proporcionan contactos de manos y pies y poses del robot reorientadas (retargeting) que guían la optimización de trayectorias de cuerpo completo a lo largo de tareas de humanoide de horizonte largo.

Por qué importa

El pipeline no necesita heurísticas específicas de la tarea ni conjuntos de datos 3D de interacción entre personas y objetos: sus entradas son un plan de texto de alto nivel e imágenes de los objetos. Según los autores, sin la información extraída de contactos y configuraciones la optimización de trayectorias no pudo resolver ninguna de las dos tareas de prueba, así que las imágenes generadas aportan el razonamiento de horizonte largo del que carece la optimización local.

Problema

Los humanoides son sistemas de alta dimensión con una dinámica inestable, y las tareas útiles de locomanipulación requieren un razonamiento de horizonte largo al que los métodos de planificación existentes no escalan. La optimización de trayectorias es local y falla en estas tareas sin guía, mientras que las demostraciones teleoperadas con humanoides son difíciles de recoger porque el robot puede caerse con facilidad.

Solución propuesta

A partir de una lista ordenada de prompts de texto breves y de imágenes RGB-D de los objetos, un modelo de difusión latente (Flux) genera imágenes de una persona de cuerpo entero realizando cada subtarea. Los contactos de manos y pies se transfieren a la escena 3D combinando correspondencias semánticas con una búsqueda por muestreo con SVD e ICP que comprueba el solapamiento de las nubes de puntos, y la pose de la persona (obtenida con WHAM) se reorienta a una configuración del robot de 35-D mediante cinemática inversa. Estos fotogramas clave entran en una optimización de trayectorias de cuerpo completo con dinámica centroidal, tanto como términos de coste como en forma de arranque en caliente por subtareas.

Ideas clave

• Las imágenes 2D generadas de personas pueden aportar tanto ubicaciones de contacto como configuraciones de cuerpo completo, y ambas juntas llevan la optimización local de trayectorias a mejores mínimos locales que los contactos solos.
• La correspondencia semántica por sí sola no es fiable porque los objetos generados difieren de los reales en punto de vista, forma y textura; puntuar las correspondencias candidatas por el solapamiento de las nubes de puntos (SVD y después ICP) corrige los contactos erróneos.
• Los fotogramas clave funcionan mejor como costes y a la vez como arranque en caliente por subtareas; las configuraciones que incluyen el arranque en caliente tienden a converger mejor y a penetrar menos.
• Añadir a cada prompt una descripción fija del pelo y la ropa hace que el modelo de imágenes dibuje a una persona de cuerpo entero, algo que requieren la extracción de contactos y de la pose.

Resultados principales

• Con un conjunto mínimo de penalizaciones por colisión, el pipeline completo se mantiene sin colisiones durante toda la trayectoria en ambos escenarios (S1: coger una cesta de una estantería moviendo una caja y subiéndose a ella; S2: subir una caja a una carretilla y empujarla), mientras que una referencia solo con contactos penetra de forma significativa todo el tiempo (Fig. 5).
• Sin la información extraída de contactos y configuraciones, la optimización de trayectorias no pudo resolver ninguna de las dos tareas; activar en su lugar todas las restricciones de colisión posibles hace que se estanque en mínimos locales.
• En la prueba S1 con una caja de 5,0 kg y una guiñada inicial de 0 rad, usar todos los componentes de los fotogramas clave da penetración nula; eliminar cualquier componente impide la convergencia o produce una penetración grande.
• Las ablaciones de fotogramas clave cubren masas de caja de {2,5; 5,0} kg y guiñadas iniciales de {0; 0,6; 1,2} rad para S1, y {2,5; 5,0; 7,5} kg y {0; ±0,6; ±1,2} rad para S2.
• Con las penalizaciones por colisión desactivadas, la transferencia de contactos que tiene en cuenta la geometría da sustancialmente menos penetración que la transferencia que no la tiene en cuenta, en ambos escenarios.
• La búsqueda de la transformación rígida se ejecuta durante 10 iteraciones y, en la práctica, la mejor transformación se encuentra en 3.

Limitaciones

• Solo se valida en simulación (MuJoCo con un modelo de Unitree G1); los autores mencionan la ejecución en un humanoide real como trabajo futuro.
• Supone que se da el plan de alto nivel (prompts de texto ordenados), además de la ubicación 3D objetivo y la guiñada del objeto en las tareas de colocación; los autores planean sustituirlo por un planificador de tareas que use modelos de lenguaje multimodales.
• En algunos casos de ablación, la configuración completa de fotogramas clave es algo peor que las configuraciones parciales, lo que los autores atribuyen a detalles del solucionador de optimización de trayectorias.
• Los parámetros intrínsecos de la cámara para las imágenes generadas se fijan por ensayo y error (la resolución de la imagen como distancia focal), y una heurística proyecta los contactos sobre la superficie del objeto más cercana para evitar la penetración.
• Los resultados se dan como gráficas de penetración para dos escenarios; el artículo no presenta tasas de éxito ni tiempos de planificación.

Impacto en el campo

El artículo fue finalista del Humanoids 2025 Best Oral Paper Award y tiene 8 citas. El artículo no enlaza a código, conjunto de datos ni página del proyecto; remite a un vídeo complementario.

Resumen

Este artículo usa las capacidades de los modelos de difusión latente (LDMs) para generar escenas RGB realistas de interacción entre personas y objetos que guíen la planificación de la locomanipulación (loco-manipulation) de humanoides. Para ello, extraemos de las imágenes generadas tanto las ubicaciones de contacto como las configuraciones del robot, que después se usan dentro de una formulación de optimización de trayectorias (TO) de cuerpo completo para generar trayectorias físicamente consistentes para humanoides. Validamos nuestro pipeline completo en simulación en distintos escenarios de locomanipulación de horizonte largo y realizamos un análisis exhaustivo del pipeline propuesto de extracción de contactos y configuraciones del robot. Nuestros resultados muestran que, usando la información extraída de los LDMs, podemos generar trayectorias físicamente consistentes que requieren razonamiento de horizonte largo.

Enlaces

• arXiv 2504.16843: https://arxiv.org/abs/2504.16843
• DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
• PDF: https://arxiv.org/pdf/2504.16843v1