OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

Auteurs: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un reciblage par maillage d'interaction avec des contraintes cinématiques strictes transforme la MoCap humaine en références humanoïdes propres ; des politiques RL à 5 termes de récompense se transfèrent en zero-shot sur un Unitree G1.

Pourquoi c'est important

Des références propres ont permis aux auteurs d'entraîner des politiques RL proprioceptives avec seulement cinq termes de récompense, quatre termes de randomisation de domaine du robot et les hyperparamètres de BeyondMimic inchangés, sans curriculum. L'effort passe du réglage des récompenses à la production de meilleures données, et le même pipeline s'adapte à d'autres humanoïdes (Unitree H1, Booster T1) en changeant uniquement les correspondances de points clés et le modèle de collision.

Problème

Les compétences humanoïdes sont souvent apprises en suivant des mouvements humains reciblés vers le robot, mais les pipelines de reciblage courants (PHC, GMR, VideoMimic) reposent sur l'appariement de points clés avec une optimisation non contrainte ou à pénalités souples. Les résultats présentent du glissement des pieds, de la pénétration et des pertes de contact main-objet ou pied-terrain, ce qui impose une lourde ingénierie des récompenses dans le RL en aval. Collecter une démonstration distincte pour chaque pose d'objet, forme d'objet ou hauteur de terrain est en outre coûteux.

Solution proposée

OmniRetarget construit un maillage d'interaction par tétraédrisation de Delaunay sur des points clés du corps et des points échantillonnés sur les objets et le terrain, puis minimise pour chaque image la déformation laplacienne entre le maillage humain et le maillage du robot. Des contraintes strictes imposent l'évitement de collisions, les limites articulaires et de vitesse et l'absence de glissement des pieds d'appui, le tout résolu par un SOCP séquentiel initialisé à chaud à partir de l'image précédente. Résoudre à nouveau avec une pose d'objet, une forme d'objet ou une hauteur de terrain modifiée transforme une démonstration en de nombreuses trajectoires cinématiquement valides.

Idées clés

• Préserver les relations spatiales entre corps, objet et terrain, plutôt que d'apparier des points clés, élimine la plupart des artefacts de pénétration et de glissement des pieds.
• Des contraintes strictes évitent la sensibilité au réglage des pénalités souples de collision et de contact utilisées par VideoMimic.
• La qualité du reciblage détermine directement le succès du RL ; pour les tâches sur terrain, la préservation des contacts a suivi le taux de réussite.
• L'augmentation cinématique élargit la couverture à faible coût : l'entraînement sur l'ensemble augmenté complet a donné 79,1 % de réussite contre 82,2 % sur les seuls mouvements nominaux, tandis que la seule randomisation de la forme et de la pose de l'objet pendant l'entraînement a donné de mauvais résultats.
• Construire le maillage d'interaction dans le repère local de l'objet maintient les coordonnées laplaciennes inchangées lorsque l'objet est déplacé ou tourné.

Principaux résultats

• Robot-objet (OMOMO) : durée de pénétration de 0,00 contre 0,60–0,83 pour PHC, GMR et VideoMimic ; profondeur de pénétration maximale de 1,34 cm contre 5,11–8,50 cm ; aucun glissement des pieds.
• Réussite du RL sur les tâches robot-objet : 82,20 % contre PHC 71,28 %, GMR 50,83 % et VideoMimic 3,85 %.
• Robot-terrain (MoCap interne) : 94,73 % de réussite du RL contre GMR 78,94 %, PHC 52,63 % et VideoMimic 51,75 % ; préservation des contacts de 0,72 contre 0,45–0,67.
• Robot seul (LAFAN1) : pénétration maximale de 1,07 cm contre 3,22 cm pour le jeu de données de reciblage Unitree LAFAN1, sans glissement des pieds ; les deux atteignent 100 % de réussite du RL.
• Sur matériel, un Unitree G1 exécute une séquence de parkour de 30 secondes (transport d'une chaise de 4,6 kg, escalade, saut et roulade) et grimpe sur une plateforme de 0,9 m, soit 70 % de sa taille, transféré en zero-shot depuis la simulation.
• Plus de 8 heures de trajectoires reciblées ont été générées ; 39 mouvements difficiles ont servi à la comparaison RL.

Limites

• Le reciblage est résolu image par image ; les auteurs suggèrent une optimisation sur toute la trajectoire pour traiter des sources de mouvement plus bruitées comme la vidéo.
• Les politiques sont proprioceptives et suivent des références ; l'apprentissage de politiques visuomotrices autonomes est laissé à des travaux futurs.
• La linéarisation des contraintes de collision dans le solveur SOCP séquentiel laisse parfois une légère pénétration (profondeur maximale d'environ 1,3 cm), que le RL est censé absorber.
• Les performances des références peuvent dépendre des hyperparamètres ; les auteurs sont partis des valeurs par défaut publiques des références et les ont ajustées.
• Les mouvements de déplacement de boîtes partagent une politique multitâche, mais l'escalade de plateforme utilise une politique par mouvement de référence.

Impact sur le domaine

Finaliste du ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion, avec 209 citations. L'article indique que tout le code, les jeux de données reciblés (2,78 h de transport de boîtes OMOMO, 1 h de MoCap interne, 4,6 h de LAFAN1) et les politiques entraînées seront rendus publics.

Résumé

Un paradigme dominant pour enseigner des compétences complexes aux robots humanoïdes consiste à recibler (retarget) des mouvements humains en références cinématiques afin d'entraîner des politiques d'apprentissage par renforcement (RL). Cependant, les pipelines de reciblage existants peinent souvent face à l'important écart d'incarnation entre humains et robots, produisant des artefacts physiquement invraisemblables comme le glissement des pieds (foot-skating) et la pénétration. Plus important encore, les méthodes de reciblage courantes négligent les riches interactions humain-objet et humain-environnement essentielles à une locomotion et une loco-manipulation expressives. Pour y remédier, nous présentons OmniRetarget, un moteur de génération de données préservant les interactions, fondé sur un maillage d'interaction (interaction mesh) qui modélise et préserve explicitement les relations spatiales et de contact cruciales entre un agent, le terrain et les objets manipulés. En minimisant la déformation laplacienne entre les maillages de l'humain et du robot tout en imposant des contraintes cinématiques, OmniRetarget génère des trajectoires cinématiquement réalisables. De plus, la préservation des interactions pertinentes pour la tâche permet une augmentation de données efficace, d'une seule démonstration vers différentes incarnations de robots, différents terrains et différentes configurations d'objets. Nous évaluons OmniRetarget de manière approfondie en reciblant des mouvements issus d'OMOMO, de LAFAN1 et de nos jeux de données MoCap internes, générant plus de 8 heures de trajectoires qui satisfont mieux les contraintes cinématiques et préservent mieux les contacts que des références largement utilisées. Ces données de haute qualité permettent à des politiques RL proprioceptives d'exécuter avec succès des compétences de parkour et de loco-manipulation à long horizon (jusqu'à 30 secondes) sur un humanoïde Unitree G1, entraînées avec seulement 5 termes de récompense et une randomisation de domaine simple partagée par toutes les tâches, sans aucun curriculum d'apprentissage.

Liens

• arXiv 2509.26633: https://arxiv.org/abs/2509.26633
• DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
• PDF: https://arxiv.org/pdf/2509.26633v1
• Page du projet: https://omniretarget.github.io/