Visual Imitation Enables Contextual Humanoid Control

Autoren: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

VideoMimic rekonstruiert Menschen und Szenen aus Handyvideos, retargetiert die Bewegung auf einen Unitree G1 und trainiert eine Policy, die je nach Gelände Treppen steigt, sich setzt oder aufsteht.

Warum es wichtig ist

Die eingesetzte Policy benötigt nur Propriozeption, eine LiDAR-Höhenkarte und eine Joystick-Richtung und wählt anhand des Geländes statt anhand von Aufgabenlabels zwischen Gehen, Treppensteigen, Hinsetzen und Aufstehen. Die Trainingsreferenzen stammen aus beiläufig aufgenommenen Smartphone-Videos statt aus einem Motion-Capture-Studio, und die Autoren geben an, dass dies ihres Wissens der erste reale Einsatz einer kontextbewussten Humanoid-Policy ist, die aus monokularen Videos von Menschen gelernt wurde.

Problem

Humanoiden kontextabhängige Ganzkörperfähigkeiten wie Treppensteigen oder Hinsetzen auf einen Stuhl beizubringen, erfordert meist von Hand abgestimmte Belohnungen oder Motion-Capture-Daten für jedes Verhalten und jede Umgebung. Methoden der Bewegungsimitation setzen typischerweise ebenen Boden oder instrumentierte Aufnahmestudios voraus, und monokulare Rekonstruktionsmethoden stellen oft die Person wieder her, nicht aber die umgebende Szene in metrischem Maßstab.

Lösungsansatz

Aus einem monokularen Video schätzt VideoMimic pro Frame die menschliche SMPL-Pose und 2D-Keypoints sowie eine Szenen-Punktwolke (MegaSaM oder MonST3R) und optimiert dann die menschliche Trajektorie und den Szenenmaßstab gemeinsam, wobei der SMPL-Prior der Körpergröße als metrische Referenz dient; die Szene wird mit GeoCalib an der Schwerkraft ausgerichtet und mit NKSR vernetzt. Die Bewegung wird mit Kostentermen für Gelenkgrenzen, Kontakte und Kollisionen auf den Unitree G1 retargetiert. Eine Policy wird in Isaac Gym in vier Stufen trainiert: RL-Vortraining auf LAFAN-Motion-Capture, szenenkonditioniertes Tracking mit einer 11 × 11-Höhenkarte, DAgger-Destillation auf eine nur auf die Root-Richtung konditionierte Policy und PPO-Fine-Tuning mit diesem reduzierten Beobachtungssatz.

Wichtigste Erkenntnisse

Menschliche Bewegung und Szenenmaßstab gemeinsam zu optimieren, mit der metrischen Körpergröße des SMPL-Körpers als Referenz, löst die Maßstabsmehrdeutigkeit monokularer SfM-Punktwolken auf.
RL-Vortraining auf Motion-Capture-Daten vor dem Verfolgen verrauschter Videoreferenzen ist nötig; ohne es lernt die Policy kaum (Fig. 6), teils weil rekonstruierte Startposen instabil sein oder die Szene durchdringen können.
Die Destillation auf eine Policy, die nur die Root-Richtung sieht, und ein anschließendes erneutes RL mit denselben reduzierten Eingaben verbessern die destillierte Policy und erlauben die Nutzung von Referenzclips geringerer Qualität.
Zwei Bestandteile waren für den Hardware-Einsatz entscheidend: lockerere Toleranzen für den Episodenabbruch gegenüber der Referenzbewegung und realistische physikalische Störungen während des Trainings.
Bei gestuften Tests in der realen Welt funktionierte die Konditionierung auf die Root-Position besser als auf die Root-Geschwindigkeit.

Hauptergebnisse

Rekonstruktion auf einer Teilmenge von SLOPER4D (Table 2): WA-MPJPE 112,13 vs. 149,48 (TRAM) und 189,29 (WHAM); W-MPJPE 696,62 vs. 954,90 und 1148,49; Chamfer-Distanz 0,75 vs. 10,66 für TRAM (WHAM rekonstruiert die Szene nicht).
Die gemeinsame Mensch-Szene-Optimierung bewältigt eine Sequenz von 300 Frames nach der Kompilierung in etwa 20 ms auf einer NVIDIA A100; Retargeting dauert etwa 10 s und Schwerkraftausrichtung plus Vernetzung etwa 60 s pro Clip mit 300 Frames.
Trainingsdatensatz aus 123 selbst aufgenommenen Smartphone-Clips: 39 Treppenaufstiege, 36 Abstiege, 13 beides, 7 Aufstehen, 12 Hinsetzen, 5 Hinsetzen und Aufstehen, 11 Geländeüberquerungen; 10 LAFAN-Clips mit Gehen auf ebenem Boden machen 10 % des Samplings aus.
Eine Policy, die an Bord eines Unitree G1 mit 23 DoF (23-DoF) mit 50 Hz läuft, steigt Treppen innen und außen hinauf und hinab, überquert steile Erdhänge und unwegsame Vegetation und setzt sich auf Stühle und Bänke und steht wieder auf.
Nach Ausrutschern beim Treppabsteigen erholte sich die Policy, indem sie kurz auf einem Bein hüpfte, bevor sie zu ihrem normalen Gang zurückkehrte.

Einschränkungen

Monokulare 4D-Rekonstruktion ist fragil: Kameradrift in MegaSaM erzeugt doppelte 'Geister'-Oberflächen, menschliche Punkte werden in die statische Szene eingeschmolzen, texturarme Bilder scheitern, und NKSR kann schmale Treppenstufen übermäßig glätten, weshalb solche Videos verworfen werden.
Retargeting setzt voraus, dass jede Referenzpose für den Roboter umsetzbar gemacht werden kann; in unaufgeräumten Szenen können widersprüchliche Kontakt- und Kollisionskosten den Solver in schlechten lokalen Minima festhalten.
Die 11 × 11-LiDAR-Höhenkarte ist zu grob für präzise Kontakte, Manipulation oder überhängende Hindernisse.
Szenen werden als ein einziges starres Mesh modelliert, sodass gelenkige oder verformbare Objekte nicht behandelt werden.
Mit nur 123 Clips verlässt sich die Policy manchmal auf Erholungsverhalten, was ruckartige Bewegungen ergibt; Ergebnisse auf dem realen Roboter werden qualitativ gezeigt, ohne angegebene Erfolgsraten.

Wirkung auf das Fachgebiet

Das Paper erhielt den CoRL 2025 Best Student Paper Award und hat 142 Zitierungen. Die Autoren geben an, den Rekonstruktionscode, das Framework für das Policy-Training und den Datensatz mit 123 Videos zu veröffentlichen; Ergebnisse sind auf videomimic.net zu sehen.

Zusammenfassung

Wie können wir Humanoiden beibringen, Treppen zu steigen und sich auf Stühle zu setzen, indem sie den umgebenden Umgebungskontext nutzen? Der wohl einfachste Weg ist, es ihnen einfach zu zeigen: beiläufig ein Video menschlicher Bewegung aufnehmen und es den Humanoiden zuführen. Wir stellen VIDEOMIMIC vor, eine Real-to-Sim-to-Real-Pipeline, die Alltagsvideos auswertet, Menschen und Umgebung gemeinsam rekonstruiert und Ganzkörper-Regelungs-Policies für humanoide Roboter erzeugt, die die entsprechenden Fähigkeiten ausführen. Wir demonstrieren die Ergebnisse unserer Pipeline auf realen humanoiden Robotern und zeigen robuste, wiederholbare kontextabhängige Regelung wie das Auf- und Absteigen von Treppen, das Hinsetzen auf und Aufstehen von Stühlen und Bänken sowie weitere dynamische Ganzkörperfähigkeiten, alles aus einer einzigen Policy, konditioniert auf die Umgebung und globale Root-Kommandos. VIDEOMIMIC bietet einen skalierbaren Weg, Humanoiden beizubringen, in vielfältigen realen Umgebungen zu agieren.

Open Source Robotics