GRAIL: Generating Humanoid Loco-Manipulation from World Models

Auteurs: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

Pourquoi c'est important

Les robots humanoïdes ont besoin de démonstrations où tout le corps marche, s'agenouille, s'assoit et manipule des objets, et aujourd'hui elles viennent de la téléopération du robot ou de la capture de mouvement, qui exigent toutes deux une scène physique et des personnes pour chaque nouvel objet ou escalier. GRAIL les remplace par un pipeline qui reste sur l'ordinateur jusqu'au déploiement : un objet 3D et une scène entrent, des trajectoires prêtes pour le robot sortent, en environ 14 minutes de génération par séquence sur un seul GPU. Les auteurs montrent que ces données suffisent à elles seules : des politiques visuelles entraînées uniquement sur elles ramassent des objets et montent des escaliers sur un vrai Unitree G1. Le code, la documentation, un jeu de données de plus de 22 000 mouvements du G1 et des checkpoints de suivi sont publics, ce qui en fait une référence fonctionnelle pour quiconque construit des données synthétiques pour humanoïdes. Le code est sous NVIDIA License et le jeu de données sous CC BY-NC 4.0 : les deux ne peuvent servir qu'à la recherche ou à l'évaluation, pas dans un produit commercial.

Problème

Les politiques de loco-manipulation humanoïde ont besoin de démonstrations couvrant de nombreux objets, mouvements du corps entier et formes de terrain, et chacune doit être physiquement plausible et exécutable par le robot. La téléopération et la capture de mouvement fournissent de bonnes démonstrations mais passent mal à l'échelle : chaque nouvel objet ou agencement de terrain exige des opérateurs, des acteurs instrumentés et une scène physique reconstruite. Reconstruire des trajectoires de robot à partir de vidéos ordinaires apporte de la diversité, mais la caméra, l'échelle, la forme de l'objet, la forme du corps, les contacts et le mouvement dans le repère du monde doivent tous être devinés depuis une seule vue. Les pipelines antérieurs qui utilisent des vidéos générées comme source d'interactions humain-objet laissent ces mêmes grandeurs à déduire après la génération, si bien que leur résultat n'est souvent pas quelque chose qu'un robot peut suivre.

Solution proposée

GRAIL fixe la scène avant de générer quoi que ce soit. Une ressource d'objet est placée dans une pièce Infinigen à côté d'un personnage humain dont les proportions sont ajustées au Unitree G1, stabilisée par la physique, puis rendue dans Blender avec des paramètres de caméra connus. GPT-4o rédige un prompt d'interaction à partir de cette image, et le modèle image-vers-vidéo de Kling, utilisé comme modèle du monde, génère une vidéo à caméra fixe de la personne manipulant l'objet. Comme la géométrie, l'échelle, la caméra, la profondeur de la scène et la forme du corps sont connues, la reconstruction est contrainte : GENMO estime la pose du corps à forme fixe, WiLoR affine les mains, un FoundationPose affiné suit l'objet depuis sa première pose connue, et une optimisation conjointe du corps et de l'objet avec des pertes de points clés, de projection, de profondeur et de contact supprime les contacts flottants, les interpénétrations et la dérive de profondeur. Les séquences dont le suivi d'objet ne concorde pas avec les masques SAM2 sont écartées. GMR recible le mouvement vers le G1, et deux suiveurs valables pour une famille de tâches, construits sur le contrôleur du corps entier SONIC, transforment les références en actions du robot dans Isaac Lab : un adaptateur attentif à l'objet qui ajuste les tokens latents de SONIC et ouvre et ferme les mains, et un suiveur attentif à la scène qui affine SONIC avec un réseau lisant une carte des hauteurs du sol autour du robot, pour les bordures, pentes, escaliers et chaises. Pour le vrai robot, ces suiveurs sont distillés en politiques RGB égocentriques entraînées avec randomisation de domaine.

Idées clés

Connaître la scène avant de générer la vidéo est ce qui rend la reconstruction exploitable : la géométrie de l'objet, la caméra, l'échelle métrique, la profondeur de la scène et un corps aux proportions du robot deviennent des entrées au lieu d'inconnues
Mieux vaut générer des vidéos humaines : les modèles vidéo actuels ont des priors plus forts pour la manipulation humaine que pour les robots, et les outils de reconstruction du corps et des mains humains sont plus mûrs
Un personnage ajusté à l'avance aux proportions du robot réduit l'écart lors du reciblage vers le G1, si bien que les contacts main-objet et corps-scène survivent au reciblage
Chaque perte de reconstruction compte pour le robot, pas seulement pour l'image : retirer le terme de projection, de profondeur ou de contact fait chuter la réussite du suivi en aval de 81,4 % à entre 41,6 % et 53,3 %
Un suivi précis du corps ne suffit pas pour manipuler : SONIC seul suit le mieux le corps mais a la plus faible réussite, et c'est l'adaptateur latent attentif à l'objet qui apporte la prise en main de l'objet
Entraîner un suiveur par famille de tâches sur 2 000 à 4 000 mouvements ramène le coût à environ 0,5 à 0,9 minute d'entraînement par mouvement, et de nouveaux mouvements s'ajoutent par un affinage repartant de la politique existante

Principaux résultats

Sur 20 objets communs, les interactions générées par GRAIL sont suivies en simulation physique avec 88,9 % de réussite, contre 24,0 % pour DAViD, 15,8 % pour HOIDiff et 10,5 % pour CHOIS, avec la plus faible distance de contact (0,008) et la plus faible interpénétration (0,90 %)
Dans une étude avec 30 participants, GRAIL a été choisi pour l'usage le plus approprié de l'objet dans 74,7 % des cas et pour le mouvement le plus plausible physiquement dans 70,9 %, pour un plafond de 75 %
Sur un benchmark de 124 mouvements portant sur 43 objets, le suiveur atteint 81,4 % de réussite en manipulation, contre 48,5 % pour HDMI et 49,2 % pour ResMimic ; sans SONIC, il tombe à 45,0 %
Le pipeline a produit plus de 20 000 séquences à partir de 1 000 ressources d'objets et 1 000 terrains procéduraux, en environ 14 minutes par séquence de 5 secondes sur une NVIDIA A100
Sur un vrai Unitree G1, une politique RGB égocentrique de saisie entraînée uniquement sur les données GRAIL réussit dans 84 % des cas sur cinq objets vus et 80 % sur cinq objets non vus, avec 10 essais chacun
Une politique de montée d'escaliers entraînée uniquement sur les séquences de terrain de GRAIL atteint 90 % de réussite en conditions réelles

Limites

Le code est sous NVIDIA License, qui n'autorise qu'un usage de recherche ou d'évaluation (NVIDIA elle-même exceptée) ; le jeu de données publié est sous CC BY-NC 4.0, et certains poids et ressources fournis gardent leurs propres licences tierces, si bien que rien de tout cela ne peut entrer dans un produit commercial
Par défaut, la génération vidéo appelle l'API payante de Kling et les prompts viennent de l'API d'OpenAI (GPT-4o) : générer de nouvelles données exige des clés pour des services externes ; une option locale avec MiniMax-H3 a été ajoutée en août 2026
Le pipeline exige une ressource 3D pour chaque objet et une scène prête pour le simulateur, et le modèle vidéo doit suivre l'interaction demandée ; la reconstruction se dégrade en cas de forte occultation, de mouvement rapide ou d'un objet dont l'apparence change d'une image à l'autre, et le filtrage écarte une part non négligeable des séquences
L'entraînement est lourd : chaque politique de suivi a tourné 30 000 itérations de PPO sur 64 GPU NVIDIA L40, environ 30 heures, et une nouvelle famille de mouvements demande toujours un entraînement ou un affinage
Les résultats sur le vrai robot portent sur deux tâches sur un seul robot, la saisie sur une table et la montée d'escaliers, avec 10 essais par objet ; la manipulation du corps entier et la position assise ne sont montrées qu'en simulation, et les mains utilisent une prise binaire, ouverte ou fermée
Le jeu de données publié couvre la saisie, la position assise et le terrain ; les données de manipulation du corps entier figurent encore sur la liste des choses à faire, et le script de démo de démarrage rapide n'est pas encore publié
Tous les résultats sont rapportés par les auteurs ; au moment de la rédaction, aucune reproduction indépendante n'a été publiée

Impact sur le domaine

En robotique, les modèles de génération vidéo ont surtout servi à imaginer des résultats ou à fournir un préentraînement visuel. GRAIL s'en sert comme source de démonstrations physiques pour un humanoïde, et montre que ce qui fait fonctionner l'approche, c'est de fixer d'abord la scène 3D et de reconstruire à l'intérieur, plutôt que d'extraire un mouvement 3D d'une vidéo non contrainte. Avec une saisie d'objets et une montée d'escaliers sur le vrai robot entraînées sur rien d'autre, il défend l'idée que les données synthétiques issues de modèles du monde peuvent s'ajouter à la téléopération et à la capture de mouvement pour faire grandir les jeux de données d'humanoïdes, et son jeu de données publié offre aux autres équipes un grand ensemble de références G1 pour le terrain et la saisie sur lesquelles entraîner des suiveurs.

Résumé

Passer à l'échelle la loco-manipulation humanoïde exige des démonstrations compatibles avec le robot couvrant des objets variés, des mouvements du corps entier et des géométries de scène, mais la téléopération et la capture de mouvement passent difficilement à l'échelle, car chaque collecte dépend de dispositifs physiques, d'acteurs instrumentés et du pilotage du robot. Nous présentons GRAIL, un pipeline de génération numérique qui reste entièrement virtuel jusqu'au déploiement : il ancre des modèles du monde vidéo dans des ressources 3D et des scènes prêtes pour le simulateur afin de synthétiser des interactions sans reconstruire d'environnements physiques ni téléopérer le robot. Plutôt que de reconstruire des vidéos non contrôlées tournées en conditions réelles, GRAIL part de configurations 3D entièrement spécifiées dans lesquelles la géométrie de l'objet, les paramètres de la caméra, l'échelle métrique, la profondeur de l'environnement et un personnage aux proportions du robot sont connus avant la génération vidéo et réutilisés pendant la reconstruction. Ce cadre privilégié conditionne mieux la récupération 4D, ce qui permet au suivi d'objet fondé sur un modèle, à l'estimation du mouvement humain et à une optimisation attentive aux interactions de reconstruire des trajectoires métriques 4D d'interaction humain-objet (HOI) avec moins d'ambiguïté de profondeur et moins d'écart morphologique. Nous reciblons les mouvements récupérés vers un robot humanoïde et entraînons des suiveurs complémentaires valables pour toute une famille de tâches : un adaptateur latent attentif à l'objet pour la manipulation et un suiveur attentif à la scène pour la traversée de terrain. GRAIL produit plus de 20 000 séquences couvrant la saisie d'objets, la manipulation du corps entier, la position assise et la traversée de terrain. Avec les seules données générées par GRAIL, nous entraînons des politiques visuelles égocentriques via un pipeline de la simulation au réel et les déployons sur un humanoïde Unitree G1, avec 84 % de réussite en conditions réelles pour la saisie d'objets variés et 90 % de réussite pour la montée d'escaliers.

Liens

arXiv 2606.05160: https://arxiv.org/abs/2606.05160
PDF: https://arxiv.org/pdf/2606.05160
Code: https://github.com/NVlabs/GRAIL
Page du projet: https://research.nvidia.com/labs/dair/grail/
Jeu de données: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL