OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

Autori: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Il retargeting con mesh di interazione e vincoli cinematici rigidi trasforma la MoCap umana in riferimenti puliti per umanoidi; policy RL con 5 termini di ricompensa si trasferiscono zero-shot a un Unitree G1.

Perché è importante

Riferimenti puliti hanno permesso agli autori di addestrare policy RL propriocettive con soli cinque termini di ricompensa, quattro termini di randomizzazione del dominio del robot e gli iperparametri di BeyondMimic invariati, senza curriculum. Lo sforzo si sposta dalla messa a punto delle ricompense alla produzione di dati migliori, e la stessa pipeline si adatta ad altri umanoidi (Unitree H1, Booster T1) cambiando solo le corrispondenze dei keypoint e il modello di collisione.

Problema

Le abilità degli umanoidi vengono spesso apprese inseguendo movimenti umani riportati sul robot, ma le comuni pipeline di retargeting (PHC, GMR, VideoMimic) si basano sulla corrispondenza dei keypoint con un'ottimizzazione non vincolata o con penalità morbide. I risultati mostrano scivolamento dei piedi, compenetrazioni e perdita del contatto mano-oggetto o piede-terreno, il che costringe a un pesante lavoro di progettazione delle ricompense nell'RL a valle. Raccogliere una dimostrazione separata per ogni posa dell'oggetto, forma dell'oggetto o altezza del terreno è inoltre costoso.

Soluzione proposta

OmniRetarget costruisce una mesh di interazione tramite tetraedralizzazione di Delaunay sui keypoint del corpo più punti campionati su oggetti e terreno e, per ogni fotogramma, minimizza la deformazione laplaciana tra la mesh umana e quella del robot. Vincoli rigidi impongono l'evitamento delle collisioni, i limiti dei giunti e di velocità e l'assenza di scivolamento dei piedi d'appoggio, risolti con un SOCP sequenziale con avvio a caldo dal fotogramma precedente. Risolvere di nuovo con una posa dell'oggetto, una forma dell'oggetto o un'altezza del terreno diverse trasforma una dimostrazione in molte traiettorie cinematicamente valide.

Idee chiave

• Preservare le relazioni spaziali tra corpo, oggetto e terreno, invece di far corrispondere i keypoint, elimina la maggior parte degli artefatti di compenetrazione e di scivolamento dei piedi.
• I vincoli rigidi evitano la sensibilità alla taratura delle penalità morbide di collisione e contatto usate da VideoMimic.
• La qualità del retargeting determina direttamente il successo dell'RL; nei task con terreno, la preservazione dei contatti ha seguito il tasso di successo.
• L'aumento cinematico amplia la copertura a basso costo: addestrare sull'intero insieme aumentato ha dato il 79,1 % di successo contro l'82,2 % sui soli movimenti nominali, mentre randomizzare forma e posa dell'oggetto solo durante l'addestramento ha dato scarsi risultati.
• Costruire la mesh di interazione nel sistema di riferimento locale dell'oggetto mantiene invariate le coordinate laplaciane quando l'oggetto viene spostato o ruotato.

Risultati principali

• Robot-oggetto (OMOMO): durata della compenetrazione 0,00 contro 0,60–0,83 per PHC, GMR e VideoMimic; profondità massima di compenetrazione 1,34 cm contro 5,11–8,50 cm; scivolamento dei piedi nullo.
• Successo dell'RL nei task robot-oggetto: 82,20 % contro PHC 71,28 %, GMR 50,83 % e VideoMimic 3,85 %.
• Robot-terreno (MoCap interna): 94,73 % di successo dell'RL contro GMR 78,94 %, PHC 52,63 % e VideoMimic 51,75 %; preservazione dei contatti 0,72 contro 0,45–0,67.
• Solo robot (LAFAN1): compenetrazione massima di 1,07 cm contro 3,22 cm del dataset di retargeting LAFAN1 di Unitree, senza scivolamento dei piedi; entrambi raggiungono il 100 % di successo dell'RL.
• Su hardware, un Unitree G1 esegue una sequenza di parkour di 30 secondi (trasportando una sedia di 4,6 kg, arrampicandosi, saltando e rotolando) e sale su una piattaforma di 0,9 m, il 70 % della sua altezza, con trasferimento zero-shot dalla simulazione.
• Sono state generate oltre 8 ore di traiettorie riportate sul robot; per il confronto RL sono stati usati 39 movimenti impegnativi.

Limiti

• Il retargeting è risolto fotogramma per fotogramma; gli autori suggeriscono un'ottimizzazione sull'intera traiettoria per gestire sorgenti di movimento più rumorose come i video.
• Le policy sono propriocettive e inseguono riferimenti; l'apprendimento di policy visuomotorie autonome è lasciato a lavori futuri.
• La linearizzazione dei vincoli di collisione nel solutore SOCP sequenziale lascia occasionalmente piccole compenetrazioni (profondità massima di circa 1,3 cm), che ci si aspetta l'RL assorba.
• Le prestazioni delle baseline possono dipendere dagli iperparametri; gli autori sono partiti dai valori predefiniti pubblici delle baseline e li hanno regolati.
• I movimenti di spostamento delle scatole condividono un'unica policy multi-task, mentre la salita sulla piattaforma usa una policy per ciascun movimento di riferimento.

Impatto sul settore

Finalista all'ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion, con 209 citazioni. L'articolo afferma che tutto il codice, i dataset riportati sul robot (2,78 h di trasporto di scatole da OMOMO, 1 h di MoCap interna, 4,6 h di LAFAN1) e le policy addestrate saranno rilasciati pubblicamente.

Abstract

Un paradigma dominante per insegnare abilità complesse ai robot umanoidi consiste nel fare il retargeting di movimenti umani come riferimenti cinematici per addestrare policy di apprendimento per rinforzo (RL). Tuttavia, le pipeline di retargeting esistenti faticano spesso a gestire il notevole divario di embodiment tra esseri umani e robot, producendo artefatti fisicamente non plausibili come lo scivolamento dei piedi e le compenetrazioni. Ancora più importante, i comuni metodi di retargeting trascurano le ricche interazioni uomo-oggetto e uomo-ambiente, essenziali per una locomozione e una loco-manipolazione (loco-manipulation) espressive. Per affrontare questo problema introduciamo OmniRetarget, un motore di generazione di dati che preserva le interazioni, basato su una mesh di interazione che modella e preserva esplicitamente le relazioni spaziali e di contatto cruciali tra un agente, il terreno e gli oggetti manipolati. Minimizzando la deformazione laplaciana tra le mesh dell'umano e del robot e imponendo al tempo stesso vincoli cinematici, OmniRetarget genera traiettorie cinematicamente realizzabili. Inoltre, preservare le interazioni rilevanti per il task consente un aumento dei dati efficiente, da una singola dimostrazione a diversi embodiment robotici, terreni e configurazioni degli oggetti. Valutiamo OmniRetarget in modo approfondito facendo il retargeting di movimenti da OMOMO, LAFAN1 e dai nostri dataset MoCap interni, generando oltre 8 ore di traiettorie che ottengono un rispetto dei vincoli cinematici e una preservazione dei contatti migliori rispetto a baseline ampiamente usate. Dati di tale qualità permettono a policy RL propriocettive di eseguire con successo abilità di parkour e di loco-manipolazione a lungo orizzonte (fino a 30 secondi) su un umanoide Unitree G1, addestrate con soli 5 termini di ricompensa e una semplice randomizzazione del dominio comune a tutti i task, senza alcun curriculum di apprendimento.

Link

• arXiv 2509.26633: https://arxiv.org/abs/2509.26633
• DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
• PDF: https://arxiv.org/pdf/2509.26633v1
• Pagina del progetto: https://omniretarget.github.io/