GRAIL: Generating Humanoid Loco-Manipulation from World Models

Autores: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

Por qué importa

Los robots humanoides necesitan demostraciones de todo el cuerpo caminando, arrodillándose, sentándose y manipulando objetos, y hoy esas demostraciones salen de teleoperar el robot o de la captura de movimiento, y ambas necesitan una escena física y personas para cada objeto o escalera nuevos. GRAIL lo sustituye por un pipeline que se queda en el ordenador hasta el despliegue: entran un objeto 3D y una escena, y salen trayectorias listas para el robot, con unos 14 minutos de generación por secuencia en una GPU. Los autores muestran que estos datos bastan por sí solos: políticas visuales entrenadas solo con ellos recogen objetos y suben escaleras en un Unitree G1 real. El código, la documentación, un conjunto de datos de más de 22.000 movimientos del G1 y checkpoints de seguimiento son públicos, lo que lo convierte en una referencia funcional para quien construya datos sintéticos para humanoides. El código está bajo la NVIDIA License y el conjunto de datos bajo CC BY-NC 4.0, así que ambos solo pueden usarse para investigación o evaluación, no en un producto comercial.

Problema

Las políticas de locomanipulación humanoide necesitan demostraciones que cubran muchos objetos, movimientos de cuerpo completo y formas de terreno, y cada una debe ser físicamente plausible y ejecutable por el robot. La teleoperación y la captura de movimiento dan buenas demostraciones pero escalan mal: cada objeto o disposición de terreno nuevos necesitan operadores, actores instrumentados y una escena física reconstruida. Reconstruir trayectorias de robot a partir de vídeos corrientes aporta amplitud, pero la cámara, la escala, la forma del objeto, la forma del cuerpo, los contactos y el movimiento en el espacio del mundo deben adivinarse desde una sola vista. Los pipelines anteriores que usan vídeos generados como fuente de interacciones humano-objeto dejan esas mismas magnitudes para inferirlas después de la generación, así que su resultado a menudo no es algo que un robot pueda seguir.

Solución propuesta

GRAIL fija la escena antes de generar nada. Un recurso de objeto se coloca en una habitación de Infinigen junto a un personaje humano cuyas proporciones se ajustan al Unitree G1, se asienta con física y se renderiza en Blender con parámetros de cámara conocidos. GPT-4o escribe un prompt de interacción a partir de ese fotograma, y el modelo de imagen a vídeo de Kling, usado como modelo del mundo, genera un vídeo con cámara fija de la persona manipulando el objeto. Como la geometría, la escala, la cámara, la profundidad de la escena y la forma del cuerpo se conocen, la reconstrucción queda acotada: GENMO estima la pose del cuerpo con la forma fija, WiLoR refina las manos, un FoundationPose ajustado sigue el objeto desde su primera pose conocida, y una optimización conjunta del cuerpo y el objeto con pérdidas de puntos clave, proyección, profundidad y contacto elimina contactos flotantes, penetraciones y deriva de profundidad. Se descartan las secuencias cuyo seguimiento del objeto no coincide con las máscaras de SAM2. GMR redirige el movimiento al G1, y dos rastreadores de propósito general construidos sobre el controlador de cuerpo completo SONIC convierten las referencias en acciones del robot en Isaac Lab: un adaptador consciente del objeto que ajusta los tokens latentes de SONIC y abre y cierra las manos, y un rastreador consciente de la escena que ajusta SONIC junto con una red que lee un mapa de alturas del suelo alrededor del robot, para bordillos, rampas, escaleras y sillas. Para el robot real, estos rastreadores se destilan en políticas egocéntricas RGB entrenadas con aleatorización de dominio.

Ideas clave

Conocer la escena antes de generar el vídeo es lo que hace utilizable la reconstrucción: la geometría del objeto, la cámara, la escala métrica, la profundidad de la escena y un cuerpo con las proporciones del robot pasan a ser entradas en vez de incógnitas
Lo mejor es generar vídeos de personas: los modelos de vídeo actuales tienen priors más fuertes para la manipulación humana que para robots, y las herramientas de reconstrucción del cuerpo y las manos humanas están más maduras
Un personaje ajustado de antemano a las proporciones del robot reduce el desajuste al redirigir el movimiento al G1, de modo que los contactos mano-objeto y cuerpo-escena sobreviven a la redirección
Cada pérdida de reconstrucción importa para el robot, no solo para la imagen: quitar el término de proyección, de profundidad o de contacto reduce el éxito del seguimiento posterior del 81,4 % a entre el 41,6 % y el 53,3 %
Un seguimiento preciso del cuerpo no basta para manipular: SONIC solo sigue mejor el cuerpo pero tiene el menor éxito, y el adaptador latente consciente del objeto añade el manejo del objeto
Entrenar un rastreador por familia de tareas sobre 2.000 a 4.000 movimientos baja el coste a unos 0,5 a 0,9 minutos de entrenamiento por movimiento, y se pueden añadir movimientos nuevos con un ajuste que parte del estado actual

Resultados principales

Sobre 20 objetos compartidos, las interacciones generadas por GRAIL se siguen en simulación física con un 88,9 % de éxito, frente al 24,0 % de DAViD, el 15,8 % de HOIDiff y el 10,5 % de CHOIS, con la menor distancia de contacto (0,008) y la menor penetración (0,90 %)
En un estudio con 30 participantes, GRAIL fue elegido como el uso más adecuado del objeto el 74,7 % de las veces y como el movimiento físicamente más plausible el 70,9 %, con un máximo posible del 75 %
En un benchmark de 124 movimientos con 43 objetos, el rastreador de propósito general alcanza un 81,4 % de éxito en manipulación, frente al 48,5 % de HDMI y el 49,2 % de ResMimic; sin SONIC cae al 45,0 %
El pipeline produjo más de 20.000 secuencias a partir de 1.000 recursos de objetos y 1.000 terrenos procedurales, con unos 14 minutos por secuencia de 5 segundos en una NVIDIA A100
En un Unitree G1 real, una política egocéntrica RGB de recogida entrenada solo con datos de GRAIL acierta el 84 % de las veces con cinco objetos vistos y el 80 % con cinco no vistos, con 10 intentos cada uno
Una política de subida de escaleras entrenada solo con secuencias de terreno de GRAIL alcanza un 90 % de éxito en el mundo real

Limitaciones

El código está bajo la NVIDIA License, que solo permite el uso para investigación o evaluación (salvo para la propia NVIDIA); el conjunto de datos publicado es CC BY-NC 4.0, y algunos pesos y recursos incluidos conservan sus propias licencias de terceros, así que nada de ello puede entrar en un producto comercial
Por defecto, la generación de vídeo llama a la API de pago de Kling y los prompts salen de la API de OpenAI (GPT-4o), así que generar datos nuevos exige claves de servicios externos; en agosto de 2026 se añadió una opción local con MiniMax-H3
El pipeline necesita un recurso 3D para cada objeto y una escena lista para simulador, y el modelo de vídeo tiene que seguir la interacción pedida; la reconstrucción empeora con oclusiones fuertes, movimiento rápido o un objeto cuyo aspecto cambia entre fotogramas, y el filtrado descarta una parte no despreciable de las secuencias
El entrenamiento es pesado: cada política de seguimiento hizo 30.000 iteraciones de PPO en 64 GPU NVIDIA L40, unas 30 horas, y una nueva familia de movimientos sigue necesitando entrenamiento o ajuste
Los resultados en el robot real cubren dos tareas en un solo robot, recoger de una mesa y subir escaleras, con 10 intentos por objeto; la manipulación de cuerpo completo y sentarse solo se muestran en simulación, y las manos usan un agarre binario, abierto o cerrado
El conjunto de datos publicado cubre recogida, sentarse y terreno; los datos de manipulación de cuerpo completo siguen en la lista de pendientes, y el script de demostración de inicio rápido aún no se ha publicado
Todos los resultados los aportan los autores; en el momento de escribir no se ha publicado ninguna reproducción independiente

Impacto en el campo

En robótica, los modelos de generación de vídeo se han usado sobre todo para imaginar resultados o para aportar preentrenamiento visual. GRAIL los usa como fuente de demostraciones físicas para un humanoide, y muestra que lo que hace que funcione es decidir primero la escena 3D y reconstruir dentro de ella, en lugar de extraer movimiento 3D de un vídeo sin restricciones. Con recogida de objetos y subida de escaleras en el robot real entrenadas sin nada más, defiende que los datos sintéticos de modelos del mundo pueden sumarse a la teleoperación y la captura de movimiento como forma de escalar los conjuntos de datos para humanoides, y su conjunto de datos publicado da a otros grupos una gran colección de referencias del G1 para terreno y recogida con las que entrenar rastreadores.

Resumen

Escalar la locomanipulación humanoide requiere demostraciones compatibles con el robot que abarquen objetos diversos, movimientos de cuerpo completo y geometrías de escena, pero la teleoperación y la captura de movimiento son difíciles de escalar porque cada recogida depende de montajes físicos, actores instrumentados y la operación del robot. Presentamos GRAIL, un pipeline de generación digital que permanece totalmente virtual hasta el despliegue: ancla modelos del mundo de vídeo en recursos 3D y escenas listas para simulador para sintetizar interacciones sin reconstruir entornos físicos ni teleoperar el robot. En lugar de reconstruir vídeos no controlados tomados en entornos reales, GRAIL parte de configuraciones 3D totalmente especificadas en las que la geometría del objeto, los parámetros de cámara, la escala métrica, la profundidad del entorno y un personaje con las proporciones del robot se conocen antes de generar el vídeo y se reutilizan durante la reconstrucción. Esta configuración privilegiada condiciona mejor la recuperación 4D, lo que permite que el seguimiento de objetos basado en modelos, la estimación del movimiento humano y la optimización consciente de la interacción reconstruyan trayectorias métricas 4D de interacción humano-objeto (HOI) con menor ambigüedad de profundidad y menor desajuste morfológico. Redirigimos los movimientos recuperados a un robot humanoide y entrenamos rastreadores complementarios de propósito general: un adaptador latente consciente del objeto para la manipulación y un rastreador consciente de la escena para atravesar terreno. GRAIL produce más de 20.000 secuencias que abarcan recoger objetos, manipulación de cuerpo completo, sentarse y atravesar terreno. Usando solo datos generados por GRAIL, entrenamos políticas visuales egocéntricas mediante un pipeline de simulación a realidad y las desplegamos en un humanoide Unitree G1, con un 84 % de éxito real al recoger objetos diversos y un 90 % de éxito al subir escaleras.

Enlaces

arXiv 2606.05160: https://arxiv.org/abs/2606.05160
PDF: https://arxiv.org/pdf/2606.05160
Código: https://github.com/NVlabs/GRAIL
Página del proyecto: https://research.nvidia.com/labs/dair/grail/
Conjunto de datos: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL