OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

Autoren: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Retargeting über ein Interaktionsnetz mit harten kinematischen Nebenbedingungen macht aus menschlichem MoCap saubere humanoide Referenzen; RL-Policies mit 5 Belohnungstermen übertragen sich zero-shot auf einen Unitree G1.

Warum es wichtig ist

Saubere Referenzen erlaubten es den Autoren, propriozeptive RL-Policies mit nur fünf Belohnungstermen, vier Domain-Randomization-Termen für den Roboter und unveränderten Hyperparametern von BeyondMimic zu trainieren, ganz ohne Curriculum. Der Aufwand verlagert sich vom Abstimmen der Belohnungen auf das Erzeugen besserer Daten, und dieselbe Pipeline lässt sich auf andere Humanoide (Unitree H1, Booster T1) übertragen, indem nur die Keypoint-Zuordnungen und das Kollisionsmodell geändert werden.

Problem

Humanoide Fähigkeiten werden oft gelernt, indem auf den Roboter retargetete menschliche Bewegungen nachgeführt werden, doch gängige Retargeting-Pipelines (PHC, GMR, VideoMimic) stützen sich auf Keypoint-Abgleich mit unbeschränkter oder weich bestrafter Optimierung. Die Ergebnisse zeigen Fußrutschen, Durchdringung und verlorene Hand-Objekt- oder Fuß-Gelände-Kontakte, was aufwendiges Reward Engineering im nachgelagerten RL erzwingt. Für jede Objektpose, Objektform oder Geländehöhe eine eigene Demonstration zu sammeln, ist zudem kostspielig.

Lösungsansatz

OmniRetarget baut ein Interaktionsnetz per Delaunay-Tetraedrisierung über Körper-Keypoints sowie auf Objekten und Gelände abgetasteten Punkten auf und minimiert für jedes Frame die Laplace-Deformation zwischen dem menschlichen Netz und dem Roboternetz. Harte Nebenbedingungen erzwingen Kollisionsvermeidung, Gelenk- und Geschwindigkeitsgrenzen sowie kein Rutschen der Standfüße, gelöst mit einem sequenziellen SOCP, das mit dem vorherigen Frame warmgestartet wird. Erneutes Lösen mit veränderter Objektpose, Objektform oder Geländehöhe macht aus einer Demonstration viele kinematisch gültige Trajektorien.

Wichtigste Erkenntnisse

Die räumlichen Beziehungen zwischen Körper, Objekt und Gelände zu erhalten, statt Keypoints abzugleichen, beseitigt die meisten Durchdringungs- und Fußrutsch-Artefakte.
Harte Nebenbedingungen vermeiden die Abstimmungsempfindlichkeit der weichen Kollisions- und Kontaktstrafen, die VideoMimic verwendet.
Die Retargeting-Qualität bestimmt direkt den RL-Erfolg; bei Geländeaufgaben folgte die Kontakterhaltung der Erfolgsrate.
Kinematische Augmentierung erweitert die Abdeckung bei geringen Kosten: Training auf dem vollständigen augmentierten Satz ergab 79,1 % Erfolg gegenüber 82,2 % nur auf den nominalen Bewegungen, während eine bloße Randomisierung von Objektform und -pose während des Trainings schlecht abschnitt.
Wird das Interaktionsnetz im lokalen Koordinatensystem des Objekts aufgebaut, bleiben die Laplace-Koordinaten unverändert, wenn das Objekt verschoben oder gedreht wird.

Hauptergebnisse

Roboter-Objekt (OMOMO): Durchdringungsdauer 0,00 gegenüber 0,60–0,83 für PHC, GMR und VideoMimic; maximale Durchdringungstiefe 1,34 cm gegenüber 5,11–8,50 cm; kein Fußrutschen.
RL-Erfolg bei Roboter-Objekt-Aufgaben: 82,20 % gegenüber PHC 71,28 %, GMR 50,83 % und VideoMimic 3,85 %.
Roboter-Gelände (hauseigenes MoCap): 94,73 % RL-Erfolg gegenüber GMR 78,94 %, PHC 52,63 % und VideoMimic 51,75 %; Kontakterhaltung 0,72 gegenüber 0,45–0,67.
Nur Roboter (LAFAN1): maximale Durchdringung 1,07 cm gegenüber 3,22 cm für den Unitree-LAFAN1-Retargeting-Datensatz, ohne Fußrutschen; beide erreichen 100 % RL-Erfolg.
Auf Hardware absolviert ein Unitree G1 eine 30-Sekunden-Parkoursequenz (Tragen eines 4,6 kg schweren Stuhls, Klettern, Springen und Rollen) und erklimmt eine 0,9 m hohe Plattform, 70 % seiner Körpergröße, zero-shot aus der Simulation übertragen.
Mehr als 8 Stunden retargeteter Trajektorien wurden erzeugt; 39 anspruchsvolle Bewegungen wurden für den RL-Vergleich verwendet.

Einschränkungen

Das Retargeting wird Frame für Frame gelöst; die Autoren schlagen eine Optimierung über die gesamte Trajektorie vor, um verrauschtere Bewegungsquellen wie Video zu verarbeiten.
Die Policies sind propriozeptiv und folgen Referenzen; das Lernen autonomer visuomotorischer Policies bleibt künftiger Arbeit überlassen.
Die Linearisierung der Kollisionsnebenbedingungen im sequenziellen SOCP-Löser hinterlässt gelegentlich geringe Durchdringung (maximale Tiefe etwa 1,3 cm), die RL voraussichtlich auffängt.
Die Leistung der Baselines kann von Hyperparametern abhängen; die Autoren gingen von den öffentlichen Standardwerten der Baselines aus und passten sie an.
Kistenbewegungen teilen sich eine Multi-Task-Policy, das Erklimmen der Plattform verwendet jedoch eine Policy pro Referenzbewegung.

Wirkung auf das Fachgebiet

Finalist für den ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion, mit 209 Zitierungen. Das Paper gibt an, dass der gesamte Code, die retargeteten Datensätze (2,78 h OMOMO-Kistentragen, 1 h hauseigenes MoCap, 4,6 h LAFAN1) und die trainierten Policies öffentlich freigegeben werden.

Zusammenfassung

Ein vorherrschendes Paradigma, um humanoiden Robotern komplexe Fähigkeiten beizubringen, besteht darin, menschliche Bewegungen als kinematische Referenzen zu retargeten, um Reinforcement-Learning-Policies (RL) zu trainieren. Bestehende Retargeting-Pipelines haben jedoch oft mit der erheblichen Embodiment-Lücke zwischen Menschen und Robotern zu kämpfen und erzeugen physikalisch unplausible Artefakte wie Fußrutschen (foot-skating) und Durchdringung. Noch wichtiger ist, dass gängige Retargeting-Methoden die reichhaltigen Mensch-Objekt- und Mensch-Umgebung-Interaktionen vernachlässigen, die für ausdrucksstarke Fortbewegung und Loco-Manipulation unerlässlich sind. Um dies anzugehen, stellen wir OmniRetarget vor, eine interaktionserhaltende Datengenerierungs-Engine auf Basis eines Interaktionsnetzes (interaction mesh), das die entscheidenden räumlichen und Kontaktbeziehungen zwischen einem Agenten, dem Gelände und manipulierten Objekten explizit modelliert und erhält. Durch Minimierung der Laplace-Deformation zwischen dem menschlichen und dem Roboternetz unter Einhaltung kinematischer Nebenbedingungen erzeugt OmniRetarget kinematisch zulässige Trajektorien. Darüber hinaus ermöglicht die Erhaltung aufgabenrelevanter Interaktionen eine effiziente Datenaugmentierung, von einer einzigen Demonstration zu verschiedenen Roboter-Embodiments, Geländen und Objektkonfigurationen. Wir evaluieren OmniRetarget umfassend, indem wir Bewegungen aus OMOMO, LAFAN1 und unseren hauseigenen MoCap-Datensätzen retargeten, und erzeugen über 8 Stunden an Trajektorien, die kinematische Nebenbedingungen besser erfüllen und Kontakte besser erhalten als weit verbreitete Baselines. Solche hochwertigen Daten ermöglichen es propriozeptiven RL-Policies, Parkour- und Loco-Manipulations-Fähigkeiten mit langem Horizont (bis zu 30 Sekunden) auf einem humanoiden Unitree G1 erfolgreich auszuführen, trainiert mit nur 5 Belohnungstermen und einfacher, allen Aufgaben gemeinsamer Domain Randomization, ganz ohne Lern-Curriculum.

Open Source Robotics