GRAIL: Generating Humanoid Loco-Manipulation from World Models

Autori: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

Perché è importante

I robot umanoidi hanno bisogno di dimostrazioni in cui tutto il corpo cammina, si inginocchia, si siede e maneggia oggetti, e oggi queste arrivano dalla teleoperazione del robot o dalla motion capture, che richiedono entrambe una scena fisica e delle persone per ogni nuovo oggetto o scala. GRAIL le sostituisce con una pipeline che resta sul computer fino all'impiego: entrano un oggetto 3D e una scena, escono traiettorie pronte per il robot, con circa 14 minuti di generazione per sequenza su una GPU. Gli autori mostrano che questi dati bastano da soli: policy visive addestrate solo su di essi raccolgono oggetti e salgono le scale su un Unitree G1 reale. Codice, documentazione, un dataset di oltre 22.000 movimenti del G1 e checkpoint di tracciamento sono pubblici, e ne fanno un riferimento funzionante per chi costruisce dati sintetici per umanoidi. Il codice è sotto NVIDIA License e il dataset sotto CC BY-NC 4.0, quindi entrambi si possono usare solo per ricerca o valutazione, non in un prodotto commerciale.

Problema

Le policy di loco-manipolazione umanoide hanno bisogno di dimostrazioni che coprano molti oggetti, movimenti di tutto il corpo e forme del terreno, e ognuna deve essere fisicamente plausibile ed eseguibile dal robot. Teleoperazione e motion capture danno buone dimostrazioni ma scalano male: ogni nuovo oggetto o disposizione del terreno richiede operatori, attori strumentati e una scena fisica ricostruita. Ricostruire traiettorie per il robot da video comuni dà ampiezza, ma telecamera, scala, forma dell'oggetto, forma del corpo, contatti e movimento nello spazio del mondo vanno tutti indovinati da una sola vista. Le pipeline precedenti che usano video generati come fonte di interazioni uomo-oggetto lasciano queste stesse grandezze da dedurre dopo la generazione, e così il loro risultato spesso non è qualcosa che un robot possa seguire.

Soluzione proposta

GRAIL fissa la scena prima di generare qualsiasi cosa. Un asset di oggetto viene collocato in una stanza Infinigen accanto a un personaggio umano con le proporzioni adattate al Unitree G1, assestato con la fisica e renderizzato in Blender con parametri della telecamera noti. GPT-4o scrive un prompt di interazione a partire da quel fotogramma, e il modello image-to-video di Kling, usato come modello del mondo, genera un video a telecamera fissa della persona che maneggia l'oggetto. Poiché geometria, scala, telecamera, profondità della scena e forma del corpo sono note, la ricostruzione è vincolata: GENMO stima la posa del corpo con la forma fissa, WiLoR affina le mani, un FoundationPose messo a punto traccia l'oggetto dalla sua prima posa nota, e un'ottimizzazione congiunta di corpo e oggetto con perdite su keypoint, proiezione, profondità e contatto elimina contatti sospesi, compenetrazioni e deriva della profondità. Le sequenze in cui il tracciamento dell'oggetto non concorda con le maschere di SAM2 vengono scartate. GMR applica il retargeting del movimento al G1, e due tracker validi per famiglie di compiti, costruiti sul controller di tutto il corpo SONIC, trasformano i riferimenti in azioni del robot in Isaac Lab: un adattatore attento all'oggetto che regola i token latenti di SONIC e apre e chiude le mani, e un tracker attento alla scena che mette a punto SONIC insieme a una rete che legge una mappa delle altezze del suolo intorno al robot, per cordoli, pendenze, scale e sedie. Per il robot reale, questi tracker vengono distillati in policy RGB egocentriche addestrate con domain randomization.

Idee chiave

Conoscere la scena prima di generare il video è ciò che rende utilizzabile la ricostruzione: geometria dell'oggetto, telecamera, scala metrica, profondità della scena e un corpo con le proporzioni del robot diventano dati in ingresso invece che incognite
Conviene generare video di persone: i modelli video attuali hanno prior più forti per la manipolazione umana che per i robot, e gli strumenti per ricostruire corpo e mani umane sono più maturi
Un personaggio adattato in anticipo alle proporzioni del robot riduce il disallineamento nel retargeting del movimento sul G1, così i contatti mano-oggetto e corpo-scena sopravvivono al retargeting
Ogni perdita di ricostruzione conta per il robot, non solo per l'immagine: togliere il termine di proiezione, di profondità o di contatto fa scendere il successo del tracciamento a valle dall'81,4% a valori tra il 41,6% e il 53,3%
Un tracciamento preciso del corpo non basta per manipolare: SONIC da solo segue meglio il corpo ma ha il successo più basso, ed è l'adattatore latente attento all'oggetto ad aggiungere la gestione dell'oggetto
Addestrare un tracker per famiglia di compiti su 2.000-4.000 movimenti porta il costo a circa 0,5-0,9 minuti di addestramento per movimento, e nuovi movimenti si aggiungono con una messa a punto che parte dalla policy esistente

Risultati principali

Su 20 oggetti comuni, le interazioni generate da GRAIL vengono tracciate in simulazione fisica con l'88,9% di successo, contro il 24,0% di DAViD, il 15,8% di HOIDiff e il 10,5% di CHOIS, con la distanza di contatto più bassa (0,008) e la compenetrazione più bassa (0,90%)
In uno studio con 30 partecipanti, GRAIL è stato scelto per l'uso più appropriato dell'oggetto nel 74,7% dei casi e per il movimento fisicamente più plausibile nel 70,9%, su un massimo possibile del 75%
Su un benchmark di 124 movimenti con 43 oggetti, il tracker raggiunge l'81,4% di successo nella manipolazione, contro il 48,5% di HDMI e il 49,2% di ResMimic; senza SONIC scende al 45,0%
La pipeline ha prodotto oltre 20.000 sequenze da 1.000 asset di oggetti e 1.000 terreni procedurali, con circa 14 minuti per sequenza di 5 secondi su una NVIDIA A100
Su un Unitree G1 reale, una policy RGB egocentrica di presa addestrata solo su dati GRAIL riesce nell'84% dei casi su cinque oggetti già visti e nell'80% su cinque mai visti, con 10 prove ciascuno
Una policy di salita delle scale addestrata solo su sequenze di terreno di GRAIL raggiunge il 90% di successo nel mondo reale

Limiti

Il codice è sotto NVIDIA License, che consente solo l'uso per ricerca o valutazione (eccetto la stessa NVIDIA); il dataset pubblicato è CC BY-NC 4.0, e alcuni pesi e asset inclusi mantengono le proprie licenze di terze parti, quindi nulla di tutto ciò può finire in un prodotto commerciale
Per impostazione predefinita la generazione video chiama l'API a pagamento di Kling e i prompt arrivano dall'API di OpenAI (GPT-4o), quindi generare nuovi dati richiede chiavi per servizi esterni; un'opzione locale con MiniMax-H3 è stata aggiunta ad agosto 2026
La pipeline richiede un asset 3D per ogni oggetto e una scena pronta per il simulatore, e il modello video deve seguire l'interazione richiesta; la ricostruzione peggiora con forti occlusioni, movimenti rapidi o un oggetto il cui aspetto cambia tra un fotogramma e l'altro, e il filtraggio scarta una quota non trascurabile delle sequenze
L'addestramento è pesante: ogni policy di tracciamento ha richiesto 30.000 iterazioni PPO su 64 GPU NVIDIA L40, circa 30 ore, e una nuova famiglia di movimenti richiede comunque addestramento o messa a punto
I risultati sul robot reale riguardano due compiti su un solo robot, presa da un tavolo e salita delle scale, con 10 prove per oggetto; manipolazione con tutto il corpo e sedersi sono mostrati solo in simulazione, e le mani usano una presa binaria, aperta o chiusa
Il dataset pubblicato copre presa, sedersi e terreno; i dati di manipolazione con tutto il corpo sono ancora nell'elenco delle cose da fare, e lo script della demo di avvio rapido non è ancora pubblicato
Tutti i risultati sono riportati dagli autori; al momento della stesura non è stata pubblicata alcuna riproduzione indipendente

Impatto sul settore

In robotica i modelli di generazione video sono stati usati soprattutto per immaginare esiti o per fornire un preaddestramento visivo. GRAIL li usa come fonte di dimostrazioni fisiche per un umanoide, e mostra che ciò che lo fa funzionare è decidere prima la scena 3D e ricostruire al suo interno, invece di estrarre il movimento 3D da un video senza vincoli. Con presa di oggetti e salita delle scale sul robot reale addestrate su nient'altro, sostiene che i dati sintetici da modelli del mondo possono affiancare teleoperazione e motion capture per far crescere i dataset per umanoidi, e il dataset pubblicato offre ad altri gruppi un ampio insieme di riferimenti per il G1 su terreno e presa con cui addestrare tracker.

Abstract

Scalare la loco-manipolazione umanoide richiede dimostrazioni compatibili con il robot che coprano oggetti diversi, movimenti di tutto il corpo e geometrie di scena, ma la teleoperazione e la motion capture sono difficili da scalare perché ogni raccolta dipende da allestimenti fisici, attori strumentati e dalla guida del robot. Presentiamo GRAIL, una pipeline di generazione digitale che resta del tutto virtuale fino all'impiego: ancora i modelli del mondo video ad asset 3D e scene pronte per il simulatore per sintetizzare interazioni senza ricostruire ambienti fisici né teleoperare il robot. Invece di ricostruire video non controllati girati in ambienti reali, GRAIL parte da configurazioni 3D completamente specificate, in cui la geometria dell'oggetto, i parametri della telecamera, la scala metrica, la profondità dell'ambiente e un personaggio con le proporzioni del robot sono noti prima della generazione del video e riutilizzati durante la ricostruzione. Questa impostazione privilegiata condiziona meglio il recupero 4D e permette al tracciamento degli oggetti basato su modello, alla stima del movimento umano e a un'ottimizzazione attenta all'interazione di ricostruire traiettorie metriche 4D di interazione uomo-oggetto (HOI) con minore ambiguità di profondità e minore disallineamento morfologico. Applichiamo il retargeting del movimento a un robot umanoide e addestriamo tracker complementari validi per intere famiglie di compiti: un adattatore latente attento all'oggetto per la manipolazione e un tracker attento alla scena per l'attraversamento del terreno. GRAIL produce oltre 20.000 sequenze che coprono la presa di oggetti, la manipolazione con tutto il corpo, il sedersi e l'attraversamento del terreno. Usando solo dati generati da GRAIL, addestriamo policy visive egocentriche tramite una pipeline sim-to-real e le impieghiamo su un umanoide Unitree G1, ottenendo l'84% di successo nel mondo reale nella presa di oggetti diversi e il 90% di successo nella salita delle scale.

Link

arXiv 2606.05160: https://arxiv.org/abs/2606.05160
PDF: https://arxiv.org/pdf/2606.05160
Codice: https://github.com/NVlabs/GRAIL
Pagina del progetto: https://research.nvidia.com/labs/dair/grail/
Dataset: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL