Visual Imitation Enables Contextual Humanoid Control

Auteurs: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

VideoMimic reconstruit des personnes et des scènes à partir de vidéos de téléphone, recible le mouvement vers un Unitree G1 et entraîne une seule politique qui monte des escaliers, s'assoit ou se relève selon le terrain.

Pourquoi c'est important

La politique déployée n'a besoin que de la proprioception, d'une carte de hauteur LiDAR et d'une direction de joystick, et choisit entre marcher, monter des escaliers, s'asseoir et se relever d'après le terrain plutôt que d'après des étiquettes de tâche. Les références d'entraînement proviennent de vidéos de smartphone filmées sans façon plutôt que d'un studio de capture de mouvement, et les auteurs indiquent qu'à leur connaissance, il s'agit du premier déploiement réel d'une politique d'humanoïde sensible au contexte apprise à partir de vidéos humaines monoculaires.

Problème

Apprendre aux humanoïdes des compétences du corps entier dépendantes du contexte, comme monter des escaliers ou s'asseoir sur une chaise, nécessite généralement des récompenses réglées à la main ou des données de capture de mouvement pour chaque comportement et chaque environnement. Les méthodes d'imitation de mouvement supposent typiquement un sol plat ou des studios de capture instrumentés, et les méthodes de reconstruction monoculaire retrouvent souvent la personne mais pas la scène environnante à l'échelle métrique.

Solution proposée

À partir d'une vidéo monoculaire, VideoMimic estime image par image la pose humaine SMPL et des points clés 2D ainsi qu'un nuage de points de la scène (MegaSaM ou MonST3R), puis optimise conjointement la trajectoire humaine et l'échelle de la scène en utilisant l'a priori de taille humaine SMPL comme référence métrique ; la scène est alignée sur la gravité avec GeoCalib et maillée avec NKSR. Le mouvement est reciblé vers l'Unitree G1 avec des coûts de limites articulaires, de contact et de collision. Une politique est entraînée dans Isaac Gym en quatre étapes : pré-entraînement par RL sur la capture de mouvement LAFAN, suivi conditionné par la scène avec une carte de hauteur de 11 × 11, distillation DAgger vers une politique conditionnée uniquement par la direction de la racine, et affinage par PPO avec cet ensemble d'observations réduit.

Idées clés

• Optimiser conjointement le mouvement humain et l'échelle de la scène, avec la taille métrique du corps SMPL comme référence, lève l'ambiguïté d'échelle des nuages de points SfM monoculaires.
• Un pré-entraînement par RL sur des données de capture de mouvement avant de suivre des références vidéo bruitées est nécessaire ; sans lui, la politique n'apprend presque rien (Fig. 6), en partie parce que les poses de départ reconstruites peuvent être instables ou intersecter la scène.
• Distiller vers une politique qui ne voit que la direction de la racine, puis relancer le RL avec les mêmes entrées réduites, améliore la politique distillée et permet d'utiliser des clips de référence de moindre qualité.
• Deux ingrédients ont été déterminants pour le déploiement sur matériel : des tolérances de fin d'épisode plus lâches par rapport au mouvement de référence et des perturbations physiques réalistes pendant l'entraînement.
• Lors de tests réels progressifs, le conditionnement sur la position de la racine a mieux fonctionné que le conditionnement sur sa vitesse.

Principaux résultats

• Reconstruction sur un sous-ensemble de SLOPER4D (Table 2) : WA-MPJPE 112,13 contre 149,48 (TRAM) et 189,29 (WHAM) ; W-MPJPE 696,62 contre 954,90 et 1148,49 ; distance de Chamfer 0,75 contre 10,66 pour TRAM (WHAM ne reconstruit pas la scène).
• L'optimisation conjointe humain–scène traite une séquence de 300 images en environ 20 ms sur une NVIDIA A100 après compilation ; le reciblage prend environ 10 s et l'alignement sur la gravité plus le maillage environ 60 s par clip de 300 images.
• Ensemble d'entraînement de 123 clips de smartphone enregistrés par les auteurs : 39 montées d'escaliers, 36 descentes, 13 les deux, 7 relevés, 12 assises, 5 assises puis relevés, 11 traversées de terrain ; 10 clips LAFAN de marche sur sol plat représentent 10 % de l'échantillonnage.
• Une seule politique tournant à bord d'un Unitree G1 à 23-DoF à 50 Hz monte et descend des escaliers intérieurs et extérieurs, franchit des pentes de terre raides et une végétation dense, et s'assoit sur des chaises et des bancs puis s'en relève.
• Après des glissades de pied en descendant des escaliers, la politique s'est rétablie en sautillant brièvement sur une jambe avant de reprendre sa démarche normale.

Limites

• La reconstruction 4D monoculaire est fragile : la dérive de caméra de MegaSaM crée des surfaces « fantômes » dupliquées, des points humains sont fusionnés dans la scène statique, les images peu texturées échouent et NKSR peut lisser excessivement les marches étroites, si bien que ces vidéos sont écartées.
• Le reciblage suppose que chaque pose de référence peut être rendue réalisable pour le robot ; dans des scènes encombrées, des coûts de contact et de collision contradictoires peuvent piéger le solveur dans de mauvais minima locaux.
• La carte de hauteur LiDAR de 11 × 11 est trop grossière pour des contacts précis, la manipulation ou des obstacles en surplomb.
• Les scènes sont modélisées comme un seul maillage rigide, de sorte que les objets articulés ou déformables ne sont pas pris en charge.
• Avec seulement 123 clips, la politique s'appuie parfois sur des comportements de rattrapage, ce qui donne des mouvements saccadés ; les résultats sur robot réel sont présentés qualitativement, sans taux de réussite rapportés.

Impact sur le domaine

L'article a reçu le CoRL 2025 Best Student Paper Award et compte 142 citations. Les auteurs indiquent qu'ils publieront le code de reconstruction, le cadre d'entraînement de politiques et le jeu de données de 123 vidéos ; les résultats sont présentés sur videomimic.net.

Résumé

Comment apprendre à des humanoïdes à monter des escaliers et à s'asseoir sur des chaises en utilisant le contexte de l'environnement ? Le moyen le plus simple consiste sans doute à le leur montrer : filmer sans façon une vidéo de mouvement humain et la fournir aux humanoïdes. Nous présentons VIDEOMIMIC, un pipeline real-to-sim-to-real qui exploite des vidéos du quotidien, reconstruit conjointement les humains et l'environnement, et produit des politiques de commande du corps entier pour des robots humanoïdes qui réalisent les compétences correspondantes. Nous démontrons les résultats de notre pipeline sur de vrais robots humanoïdes, en montrant une commande contextuelle robuste et reproductible, comme la montée et la descente d'escaliers, le fait de s'asseoir sur des chaises et des bancs et de s'en relever, ainsi que d'autres compétences dynamiques du corps entier, le tout à partir d'une seule politique conditionnée par l'environnement et des commandes globales de la racine. VIDEOMIMIC offre une voie évolutive pour apprendre aux humanoïdes à opérer dans des environnements réels variés.

Liens

• arXiv 2505.03729: https://arxiv.org/abs/2505.03729
• DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
• Page du projet: https://videomimic.net/