HoloMotion
Foundation model per il controllo del corpo intero di umanoidi, dai dati di movimento al deployment in ROS2
Licenza
Apache-2.0
Panoramica
HoloMotion è un foundation model per la robotica umanoide di Horizon Robotics, pensato per un controllo del corpo intero robusto, in tempo reale e generalizzabile. Il framework offre una soluzione end-to-end che comprende la cura dei dati da motion capture umano, il retargeting del movimento dai dati SMPL alla cinematica del robot tramite GMR, l'addestramento PPO distribuito in NVIDIA Isaac Lab, la valutazione basata su MuJoCo e la verifica sim2sim, l'esportazione del modello in ONNX e un deployment fluido sull'hardware fisico Unitree G1 tramite ROS2. Il progetto supporta attualmente il robot Unitree G1 con 29 gradi di libertà (12 giunti delle gambe, 3 giunti della vita, 14 giunti delle braccia) e funziona in due modalità di controllo: motion tracking, per riprodurre movimenti di riferimento, e velocity tracking, per la locomozione comandata con joystick. La sua architettura modulare permette un adattamento flessibile lungo l'intera pipeline, dai dati di motion capture al controllo del robot nel mondo reale.
HoloMotion offre una pipeline end-to-end completa per il controllo del corpo intero degli umanoidi:
1. Cura dei dati: strumenti per acquisire ed elaborare dataset di movimento su larga scala da fonti come AMASS, HumanAct12, MotionX e OMOMO, convertendoli nel formato SMPL compatibile con AMASS e filtrandoli per il controllo della qualità. Supporta anche la generazione di dati di movimento da video RGB monoculare tramite GVHMR.
2. Retargeting del movimento: sfrutta GMR (General Motion Retargeting) per tradurre i dati di motion capture umano in traiettorie cinematiche specifiche del robot, producendo dataset HDF5 ottimizzati per l'addestramento distribuito.
3. Addestramento del modello: framework di addestramento PPO distribuito che usa NVIDIA Isaac Lab come ambiente di simulazione. Supporta l'addestramento multi-GPU con normalizzazione delle osservazioni, domain randomization, curriculum learning e funzioni di ricompensa configurabili. La rete della policy usa un'architettura MLP con reti actor-critic separate.
4. Valutazione: pipeline di valutazione offline con metriche quantitative, visualizzazione basata su MuJoCo e verifica sim2sim prima del deployment sull'hardware reale.
5. Deployment nel mondo reale: pacchetto di deployment basato su ROS2 che supporta sia l'esecuzione da laptop/desktop sia il deployment Docker a bordo su NVIDIA Jetson Orin per il robot umanoide Unitree G1. Le policy PyTorch addestrate vengono esportate in formato ONNX per un'inferenza efficiente.
La roadmap del progetto prevede quattro grandi traguardi di capacità: Any Pose (v1.0, raggiunto), Any Command (v2.0), Any Terrain (v3.0) e Any Embodiment (v4.0).
Perché è importante
HoloMotion è uno dei primi framework open source end-to-end di foundation model pensati specificamente per il controllo del corpo intero degli umanoidi. Mentre molti progetti di ricerca si concentrano su singoli componenti (locomozione, manipolazione o generazione del movimento), HoloMotion fornisce l'intera pipeline, dai dati di motion capture umano al deployment su robot reali. Questo abbassa drasticamente la barriera per ricercatori e sviluppatori che lavorano sulla robotica umanoide, offrendo una piattaforma riproducibile, modulare ed estensibile.
Il problema che risolve
Costruire policy di controllo del corpo intero per robot umanoidi richiede competenze in più ambiti scollegati: elaborazione del motion capture, retargeting cinematico, apprendimento per rinforzo, simulazione e deployment sull'hardware. HoloMotion li unifica in un unico framework modulare che i ricercatori possono usare per addestrare, valutare e mettere in funzione policy di movimento per umanoidi senza costruire ogni componente da zero.
Punti chiave
- Pipeline end-to-end dai dati di movimento umano al deployment su umanoidi reali tramite ROS2
- Usa l'addestramento PPO distribuito in NVIDIA Isaac Lab con un'architettura actor-critic MLP
- Supporta l'umanoide Unitree G1 con 29 gradi di libertà tra gambe, vita e braccia
- Retargeting del movimento dai dati di motion capture umano SMPL/SMPLX alla cinematica del robot tramite GMR
- Due modalità operative: motion tracking e velocity tracking (locomozione con joystick)
- L'esportazione del modello in ONNX consente l'inferenza su desktop e piattaforme embedded (Jetson Orin)
- Supporta una pipeline da video a movimento con GVHMR per ricavare dati di addestramento da video RGB monoculare
- Roadmap attiva: Any Pose (completato), Any Command, Any Terrain, Any Embodiment
- Verifica sim2sim in MuJoCo prima del deployment nel mondo reale
A chi si rivolge
- Ricercatori di robotica che lavorano sulla locomozione degli umanoidi
- Ingegneri di apprendimento per rinforzo concentrati sul trasferimento sim-to-real
- Sviluppatori di robot umanoidi che usano Unitree G1
- Ricercatori di motion capture e retargeting
- Studenti post-laurea che studiano IA incarnata e foundation model
Limiti
- Attualmente supporta solo il robot Unitree G1 (29 gradi di libertà)
- Nessun peso preaddestrato disponibile: richiede un addestramento da zero con notevoli risorse GPU
- L'addestramento richiede NVIDIA Isaac Lab con GPU CUDA
- Nessun articolo di ricerca ancora pubblicato (segnaposto arXiv nel README)
- La generalizzazione cross-embodiment non è ancora implementata (roadmap v4.0)
- I modelli SMPL richiedono una registrazione e un download separati