Visual Imitation Enables Contextual Humanoid Control

Autori: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

VideoMimic ricostruisce persone e scene da video girati con lo smartphone, trasferisce il movimento con retargeting a un Unitree G1 e addestra un'unica policy che sale le scale e si siede o si alza a seconda del terreno.

Perché è importante

La policy impiegata richiede solo propriocezione, una mappa delle altezze LiDAR e una direzione dal joystick, e sceglie tra camminare, salire le scale, sedersi e alzarsi in base al terreno anziché a etichette di compito. I riferimenti di addestramento provengono da video girati in modo informale con lo smartphone invece che da uno studio di motion capture, e gli autori affermano che, per quanto ne sanno, si tratta del primo impiego nel mondo reale di una policy umanoide consapevole del contesto appresa da video umani monoculari.

Problema

Insegnare agli umanoidi abilità del corpo intero che dipendono dal contesto, come salire le scale o sedersi su una sedia, richiede di solito ricompense regolate a mano o dati di motion capture per ogni comportamento e ambiente. I metodi di imitazione del movimento presuppongono in genere un terreno piano o studi di acquisizione strumentati, e i metodi di ricostruzione monoculare spesso ricostruiscono la persona ma non la scena circostante in scala metrica.

Soluzione proposta

A partire da un video monoculare, VideoMimic stima per ogni fotogramma la posa umana SMPL e i punti chiave 2D, oltre a una nuvola di punti della scena (MegaSaM o MonST3R), poi ottimizza congiuntamente la traiettoria umana e la scala della scena usando il prior di altezza umana di SMPL come riferimento metrico; la scena viene allineata alla gravità con GeoCalib e trasformata in mesh con NKSR. Il movimento viene trasferito con retargeting all'Unitree G1 con costi su limiti dei giunti, contatti e collisioni. Una policy viene addestrata in Isaac Gym in quattro fasi: preaddestramento con RL sul motion capture LAFAN, tracking condizionato dalla scena con una mappa delle altezze di 11 × 11, distillazione con DAgger in una policy condizionata solo dalla direzione della radice, e fine-tuning con PPO con quell'insieme ridotto di osservazioni.

Idee chiave

• Ottimizzare insieme il movimento umano e la scala della scena, con l'altezza metrica del corpo SMPL come riferimento, risolve l'ambiguità di scala delle nuvole di punti SfM monoculari.
• È necessario un preaddestramento con RL su dati di motion capture prima di inseguire riferimenti video rumorosi; senza di esso la policy apprende a malapena (Fig. 6), in parte perché le pose iniziali ricostruite possono essere instabili o intersecare la scena.
• Distillare in una policy che vede solo la direzione della radice, per poi eseguire di nuovo RL con gli stessi input ridotti, migliora la policy distillata e consente di usare clip di riferimento di qualità inferiore.
• Due ingredienti sono stati fondamentali per l'impiego sull'hardware: tolleranze più larghe per la terminazione degli episodi rispetto al movimento di riferimento e perturbazioni fisiche realistiche durante l'addestramento.
• Durante i test graduali nel mondo reale, il condizionamento sulla posizione della radice ha funzionato meglio di quello sulla velocità della radice.

Risultati principali

• Ricostruzione su un sottoinsieme di SLOPER4D (Tabella 2): WA-MPJPE 112,13 contro 149,48 (TRAM) e 189,29 (WHAM); W-MPJPE 696,62 contro 954,90 e 1148,49; distanza di Chamfer 0,75 contro 10,66 di TRAM (WHAM non ricostruisce la scena).
• L'ottimizzazione congiunta persona-scena elabora una sequenza di 300 fotogrammi in circa 20 ms su una NVIDIA A100 dopo la compilazione; il retargeting richiede circa 10 s e l'allineamento alla gravità più la generazione della mesh circa 60 s per clip di 300 fotogrammi.
• Set di addestramento di 123 clip girate con lo smartphone dagli stessi autori: 39 salite di scale, 36 discese, 13 con entrambe, 7 in cui ci si alza, 12 in cui ci si siede, 5 in cui ci si siede e ci si alza, 11 di attraversamento del terreno; 10 clip LAFAN di camminata in piano costituiscono il 10 % del campionamento.
• Un'unica policy eseguita a bordo di un Unitree G1 a 23-DoF a 50 Hz sale e scende scale interne ed esterne, attraversa ripidi pendii di terra e vegetazione fitta, e si siede e si rialza da sedie e panchine.
• Dopo scivolamenti dei piedi in discesa dalle scale, la policy si è ripresa con brevi saltelli su una gamba prima di tornare alla sua andatura normale.

Limiti

• La ricostruzione 4D monoculare è fragile: la deriva della fotocamera di MegaSaM crea superfici 'fantasma' duplicate, i punti delle persone vengono fusi nella scena statica, le immagini con poca texture falliscono e NKSR può smussare eccessivamente le pedate strette dei gradini, quindi tali video vengono scartati.
• Il retargeting presuppone che ogni posa di riferimento possa essere resa fattibile per il robot; in scene ingombre, costi di contatto e collisione in conflitto possono intrappolare il solver in cattivi minimi locali.
• La mappa delle altezze LiDAR di 11 × 11 è troppo grossolana per contatti precisi, manipolazione o ostacoli sporgenti.
• Le scene sono modellate come un'unica mesh rigida, quindi gli oggetti articolati o deformabili non sono gestiti.
• Con sole 123 clip la policy a volte si affida a comportamenti di recupero, producendo movimenti a scatti; i risultati sul robot reale sono mostrati in modo qualitativo, senza tassi di successo riportati.

Impatto sul settore

L'articolo ha ricevuto il CoRL 2025 Best Student Paper Award e ha 142 citazioni. Gli autori dichiarano che rilasceranno il codice di ricostruzione, il framework di addestramento delle policy e il dataset di 123 video; i risultati sono mostrati su videomimic.net.

Abstract

Come possiamo insegnare agli umanoidi a salire le scale e a sedersi sulle sedie sfruttando il contesto dell'ambiente circostante? Probabilmente il modo più semplice è semplicemente mostrarglielo: riprendere in modo informale un video di un movimento umano e fornirlo agli umanoidi. Introduciamo VIDEOMIMIC, una pipeline real-to-sim-to-real che estrae informazioni da video quotidiani, ricostruisce congiuntamente le persone e l'ambiente e produce policy di controllo del corpo intero per robot umanoidi che eseguono le abilità corrispondenti. Dimostriamo i risultati della nostra pipeline su robot umanoidi reali, mostrando un controllo contestuale robusto e ripetibile come salire e scendere le scale, sedersi e alzarsi da sedie e panchine, oltre ad altre abilità dinamiche del corpo intero, il tutto con un'unica policy condizionata dall'ambiente e da comandi globali della radice. VIDEOMIMIC offre un percorso scalabile per insegnare agli umanoidi a operare in ambienti reali diversi.

Link

• arXiv 2505.03729: https://arxiv.org/abs/2505.03729
• DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
• Pagina del progetto: https://videomimic.net/