OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

Autores: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

El retargeting con malla de interacción y restricciones cinemáticas estrictas convierte la MoCap humana en referencias limpias para humanoides; políticas de RL con 5 términos de recompensa se transfieren zero-shot a un Unitree G1.

Por qué importa

Las referencias limpias permitieron a los autores entrenar políticas de RL propioceptivas con solo cinco términos de recompensa, cuatro términos de aleatorización de dominio del robot y los hiperparámetros de BeyondMimic sin cambios, sin currículo. El esfuerzo pasa de ajustar recompensas a producir mejores datos, y el mismo pipeline se adapta a otros humanoides (Unitree H1, Booster T1) cambiando solo las correspondencias de puntos clave y el modelo de colisión.

Problema

Las habilidades de los humanoides suelen aprenderse siguiendo movimiento humano redirigido al robot, pero los pipelines de retargeting habituales (PHC, GMR, VideoMimic) se basan en la coincidencia de puntos clave con una optimización sin restricciones o con penalizaciones blandas. Los resultados muestran deslizamiento de los pies, penetración y pérdida del contacto mano-objeto o pie-terreno, lo que obliga a una fuerte ingeniería de recompensas en el RL posterior. Recopilar una demostración distinta para cada pose de objeto, forma de objeto o altura de terreno también es costoso.

Solución propuesta

OmniRetarget construye una malla de interacción mediante tetraedrización de Delaunay sobre los puntos clave del cuerpo más puntos muestreados en objetos y terreno y, en cada fotograma, minimiza la deformación laplaciana entre la malla humana y la malla del robot. Restricciones estrictas imponen la evitación de colisiones, los límites articulares y de velocidad y que los pies de apoyo no deslicen, y se resuelven con un SOCP secuencial con arranque en caliente desde el fotograma anterior. Volver a resolver con una pose de objeto, una forma de objeto o una altura de terreno distintas convierte una demostración en muchas trayectorias cinemáticamente válidas.

Ideas clave

• Preservar las relaciones espaciales entre cuerpo, objeto y terreno, en lugar de hacer coincidir puntos clave, elimina la mayoría de los artefactos de penetración y de deslizamiento de los pies.
• Las restricciones estrictas evitan la sensibilidad al ajuste de las penalizaciones blandas de colisión y contacto que usa VideoMimic.
• La calidad del retargeting determina directamente el éxito del RL; en las tareas con terreno, la preservación de los contactos siguió a la tasa de éxito.
• El aumento cinemático amplía la cobertura con poco coste: entrenar con todo el conjunto aumentado dio un 79,1 % de éxito frente al 82,2 % solo con los movimientos nominales, mientras que aleatorizar la forma y la pose del objeto únicamente durante el entrenamiento rindió mal.
• Construir la malla de interacción en el marco local del objeto mantiene sin cambios las coordenadas laplacianas cuando el objeto se desplaza o se gira.

Resultados principales

• Robot-objeto (OMOMO): duración de la penetración de 0,00 frente a 0,60–0,83 de PHC, GMR y VideoMimic; profundidad máxima de penetración de 1,34 cm frente a 5,11–8,50 cm; deslizamiento de los pies nulo.
• Éxito del RL en tareas robot-objeto: 82,20 % frente a PHC 71,28 %, GMR 50,83 % y VideoMimic 3,85 %.
• Robot-terreno (MoCap propia): 94,73 % de éxito del RL frente a GMR 78,94 %, PHC 52,63 % y VideoMimic 51,75 %; preservación de los contactos de 0,72 frente a 0,45–0,67.
• Solo robot (LAFAN1): penetración máxima de 1,07 cm frente a 3,22 cm del conjunto de datos de retargeting LAFAN1 de Unitree, sin deslizamiento de los pies; ambos alcanzan un 100 % de éxito del RL.
• En hardware, un Unitree G1 ejecuta una secuencia de parkour de 30 segundos (cargando una silla de 4,6 kg, trepando, saltando y rodando) y sube a una plataforma de 0,9 m, el 70 % de su altura, con transferencia zero-shot desde la simulación.
• Se generaron más de 8 horas de trayectorias redirigidas; se usaron 39 movimientos difíciles para la comparación de RL.

Limitaciones

• El retargeting se resuelve fotograma a fotograma; los autores sugieren una optimización de la trayectoria completa para manejar fuentes de movimiento más ruidosas, como el vídeo.
• Las políticas son propioceptivas y siguen referencias; el aprendizaje de políticas visomotoras autónomas queda para trabajo futuro.
• Linealizar las restricciones de colisión en el solucionador SOCP secuencial deja ocasionalmente una pequeña penetración (profundidad máxima de alrededor de 1,3 cm), que se espera que el RL absorba.
• El rendimiento de las líneas base puede depender de los hiperparámetros; los autores partieron de los valores públicos por defecto de las líneas base y los ajustaron.
• Los movimientos de traslado de cajas comparten una política multitarea, pero la subida a plataformas usa una política por movimiento de referencia.

Impacto en el campo

Finalista del ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion, con 209 citas. El artículo afirma que todo el código, los conjuntos de datos redirigidos (2,78 h de transporte de cajas de OMOMO, 1 h de MoCap propia, 4,6 h de LAFAN1) y las políticas entrenadas se publicarán.

Resumen

Un paradigma dominante para enseñar habilidades complejas a robots humanoides es redirigir (retargeting) movimientos humanos como referencias cinemáticas para entrenar políticas de aprendizaje por refuerzo (RL). Sin embargo, los pipelines de retargeting existentes suelen tener dificultades con la importante diferencia de encarnación entre humanos y robots, y producen artefactos físicamente inverosímiles como el deslizamiento de los pies y la penetración. Y, lo que es más importante, los métodos de retargeting habituales ignoran las ricas interacciones humano-objeto y humano-entorno, esenciales para una locomoción y una locomanipulación (loco-manipulation) expresivas. Para abordarlo, presentamos OmniRetarget, un motor de generación de datos que preserva las interacciones, basado en una malla de interacción que modela y preserva explícitamente las relaciones espaciales y de contacto cruciales entre un agente, el terreno y los objetos manipulados. Al minimizar la deformación laplaciana entre las mallas del humano y del robot mientras impone restricciones cinemáticas, OmniRetarget genera trayectorias cinemáticamente factibles. Además, preservar las interacciones relevantes para la tarea permite un aumento de datos eficiente, desde una única demostración a distintas encarnaciones de robot, terrenos y configuraciones de objetos. Evaluamos exhaustivamente OmniRetarget redirigiendo movimientos de OMOMO, LAFAN1 y nuestros propios conjuntos de datos de MoCap, y generamos más de 8 horas de trayectorias que logran un mejor cumplimiento de las restricciones cinemáticas y una mejor preservación de los contactos que líneas base ampliamente utilizadas. Estos datos de alta calidad permiten que políticas de RL propioceptivas ejecuten con éxito habilidades de parkour y de locomanipulación de horizonte largo (hasta 30 segundos) en un humanoide Unitree G1, entrenadas con solo 5 términos de recompensa y una aleatorización de dominio sencilla compartida por todas las tareas, sin ningún currículo de aprendizaje.

Enlaces

• arXiv 2509.26633: https://arxiv.org/abs/2509.26633
• DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
• PDF: https://arxiv.org/pdf/2509.26633v1
• Página del proyecto: https://omniretarget.github.io/