Visual Imitation Enables Contextual Humanoid Control

Autores: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

VideoMimic reconstruye personas y escenas a partir de vídeos de móvil, transfiere el movimiento (retargeting) a un Unitree G1 y entrena una única política que sube escaleras y se sienta o se levanta según el terreno.

Por qué importa

La política desplegada solo necesita propiocepción, un mapa de alturas de LiDAR y una dirección del joystick, y elige entre caminar, subir escaleras, sentarse y levantarse a partir del terreno y no de etiquetas de tarea. Las referencias de entrenamiento proceden de vídeos de smartphone grabados de manera informal en lugar de un estudio de captura de movimiento, y los autores afirman que, hasta donde saben, es el primer despliegue en el mundo real de una política de humanoide consciente del contexto aprendida a partir de vídeos humanos monoculares.

Problema

Enseñar a los humanoides habilidades de cuerpo completo que dependen del contexto, como subir escaleras o sentarse en una silla, suele requerir recompensas ajustadas a mano o datos de captura de movimiento para cada comportamiento y entorno. Los métodos de imitación de movimiento suelen suponer un suelo plano o estudios de captura instrumentados, y los métodos de reconstrucción monocular a menudo recuperan a la persona pero no la escena circundante a escala métrica.

Solución propuesta

A partir de un vídeo monocular, VideoMimic estima por fotograma la pose humana SMPL y puntos clave 2D, además de una nube de puntos de la escena (MegaSaM o MonST3R), y después optimiza conjuntamente la trayectoria humana y la escala de la escena usando como referencia métrica el prior de altura humana de SMPL; la escena se alinea con la gravedad mediante GeoCalib y se malla con NKSR. El movimiento se transfiere (retargeting) al Unitree G1 con costes de límites articulares, contacto y colisión. Se entrena una política en Isaac Gym en cuatro etapas: preentrenamiento con RL en la captura de movimiento de LAFAN, seguimiento condicionado por la escena con un mapa de alturas de 11 × 11, destilación con DAgger a una política condicionada solo por la dirección de la raíz y ajuste fino con PPO con ese conjunto de observaciones reducido.

Ideas clave

• Optimizar conjuntamente el movimiento humano y la escala de la escena, con la altura métrica del cuerpo SMPL como referencia, resuelve la ambigüedad de escala de las nubes de puntos de SfM monoculares.
• Es necesario un preentrenamiento con RL en datos de captura de movimiento antes de seguir referencias de vídeo ruidosas; sin él la política apenas aprende (Fig. 6), en parte porque las poses iniciales reconstruidas pueden ser inestables o atravesar la escena.
• Destilar a una política que solo ve la dirección de la raíz y después volver a ejecutar RL con las mismas entradas reducidas mejora la política destilada y permite usar clips de referencia de menor calidad.
• Dos ingredientes fueron cruciales para el despliegue en hardware: tolerancias más laxas para terminar los episodios respecto al movimiento de referencia y perturbaciones físicas realistas durante el entrenamiento.
• Durante las pruebas escalonadas en el mundo real, condicionar con la posición de la raíz funcionó mejor que condicionar con la velocidad de la raíz.

Resultados principales

• Reconstrucción en un subconjunto de SLOPER4D (Tabla 2): WA-MPJPE 112,13 frente a 149,48 (TRAM) y 189,29 (WHAM); W-MPJPE 696,62 frente a 954,90 y 1148,49; distancia de Chamfer 0,75 frente a 10,66 de TRAM (WHAM no recupera la escena).
• La optimización conjunta de persona y escena procesa una secuencia de 300 fotogramas en unos 20 ms en una NVIDIA A100 tras la compilación; el retargeting tarda unos 10 s y la alineación con la gravedad más el mallado unos 60 s por clip de 300 fotogramas.
• Conjunto de entrenamiento de 123 clips de smartphone grabados por los autores: 39 subidas de escaleras, 36 bajadas, 13 con ambas, 7 de levantarse, 12 de sentarse, 5 de sentarse y levantarse, 11 de recorrido de terreno; 10 clips de LAFAN de marcha en llano suponen el 10 % del muestreo.
• Una única política ejecutada a bordo de un Unitree G1 de 23-DoF a 50 Hz sube y baja escaleras interiores y exteriores, atraviesa pendientes de tierra pronunciadas y vegetación densa, y se sienta y se levanta de sillas y bancos.
• Tras resbalar con los pies al bajar escaleras, la política se recuperó dando brevemente saltos sobre una pierna antes de volver a su modo de andar normal.

Limitaciones

• La reconstrucción 4D monocular es frágil: la deriva de la cámara de MegaSaM crea superficies 'fantasma' duplicadas, los puntos de las personas se fusionan con la escena estática, las imágenes con poca textura fallan y NKSR puede suavizar en exceso las huellas estrechas de los escalones, así que esos vídeos se descartan.
• El retargeting supone que cada pose de referencia puede hacerse factible para el robot; en escenas abarrotadas, los costes de contacto y colisión en conflicto pueden atrapar al solucionador en mínimos locales malos.
• El mapa de alturas de LiDAR de 11 × 11 es demasiado grueso para contactos precisos, manipulación u obstáculos salientes.
• Las escenas se modelan como una única malla rígida, por lo que no se tratan los objetos articulados o deformables.
• Con solo 123 clips, la política a veces depende de comportamientos de recuperación, lo que produce movimientos bruscos; los resultados en robot real se muestran de forma cualitativa, sin tasas de éxito.

Impacto en el campo

El artículo recibió el CoRL 2025 Best Student Paper Award y tiene 142 citas. Los autores afirman que publicarán el código de reconstrucción, el marco de entrenamiento de políticas y el conjunto de datos de 123 vídeos; los resultados se muestran en videomimic.net.

Resumen

¿Cómo podemos enseñar a los humanoides a subir escaleras y a sentarse en sillas usando el contexto del entorno que los rodea? Posiblemente, la forma más sencilla es simplemente mostrárselo: grabar de manera informal un vídeo de movimiento humano y dárselo a los humanoides. Presentamos VIDEOMIMIC, un pipeline real-to-sim-to-real que explota vídeos cotidianos, reconstruye conjuntamente a las personas y el entorno y produce políticas de control de cuerpo completo para robots humanoides que ejecutan las habilidades correspondientes. Demostramos los resultados de nuestro pipeline en robots humanoides reales, con un control contextual robusto y repetible, como subir y bajar escaleras, sentarse y levantarse de sillas y bancos, así como otras habilidades dinámicas de cuerpo completo, todo ello con una única política condicionada por el entorno y por comandos globales de la raíz. VIDEOMIMIC ofrece una vía escalable para enseñar a los humanoides a desenvolverse en entornos reales diversos.

Enlaces

• arXiv 2505.03729: https://arxiv.org/abs/2505.03729
• DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
• Página del proyecto: https://videomimic.net/