ProtoMotions

Framework NVIDIA per addestrare su GPU esseri umani digitali simulati e robot umanoidi

Licenza

Apache-2.0

Panoramica

ProtoMotions è un framework di simulazione e apprendimento accelerato da GPU per addestrare esseri umani digitali simulati fisicamente e robot umanoidi, sviluppato da NVIDIA Research Labs. Offre una piattaforma di prototipazione rapida per compiti di apprendimento di umanoidi simulati in animazione, robotica e apprendimento per rinforzo.

Il framework rende possibile l'apprendimento del movimento su larga scala: addestrare un personaggio completamente simulato fisicamente ad apprendere abilità motorie dall'intero dataset di animazione umana AMASS (oltre 40 ore) in 12 ore su 4 GPU A100. Supporta l'addestramento scalabile multi-GPU, il retargeting del movimento con un solo comando verso qualsiasi robot tramite PyRoki, i test sim-to-sim tra motori fisici (da IsaacGym a Newton/MuJoCo Warp), il rendering ad alta fedeltà in IsaacSim 5.0+, la creazione di movimenti da prompt testuali, la generazione procedurale di scene e policy generative come MaskedMimic.

ProtoMotions supporta più backend di simulazione, tra cui NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, e più morfologie di robot, tra cui gli esseri umani digitali SMPL/SMPLX, Unitree H1 e Unitree G1.

La policy generativa MaskedMimic, costruita su ProtoMotions, è stata pubblicata a SIGGRAPH Asia 2024.

ProtoMotions è un framework accelerato su GPU di NVIDIA Research per addestrare esseri umani digitali e robot umanoidi simulati fisicamente. Funge da piattaforma di prototipazione unificata che collega i mondi tradizionalmente separati dell'animazione dei personaggi e della robotica umanoide, permettendo ai ricercatori di entrambi i campi di condividere infrastruttura, dati di movimento e policy addestrate.

La capacità di spicco del framework è la scala: può addestrare un personaggio interamente simulato fisicamente sull'intero dataset di movimento AMASS (oltre 40 ore di dati di animazione umana) in sole 12 ore usando 4 GPU A100. Questo è reso possibile da un addestramento multi-GPU scalabile e da una stretta integrazione con lo stack di simulazione di NVIDIA. ProtoMotions supporta il retargeting del movimento con un solo comando verso qualsiasi morfologia di robot tramite PyRoki, rendendo semplice trasferire le abilità motorie umane a robot come Unitree H1 e G1.

ProtoMotions supporta più backend di simulazione, tra cui NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, oltre a più rappresentazioni del corpo (SMPL, SMPLX e URDF di robot personalizzati). Tra le funzioni degne di nota ci sono i test sim-to-sim tra motori fisici, il rendering ad alta fedeltà in IsaacSim 5.0+, la creazione di movimenti a partire da prompt testuali e la generazione procedurale di scene per ambienti di addestramento diversificati.

Il framework include MaskedMimic, un controller generativo di personaggi basato sulla fisica presentato a SIGGRAPH Asia 2024, che permette di controllare tramite prompt personaggi simulati fisicamente. ProtoMotions è mantenuto attivamente da NVIDIA e rappresenta la sua principale offerta open source per la ricerca sul movimento umanoide.

Perché è importante

ProtoMotions colma il divario tra l'animazione dei personaggi e la ricerca sulla robotica umanoide offrendo un framework unificato e accelerato da GPU di NVIDIA. La capacità di addestrarsi su oltre 40 ore di dati di movimento in 12 ore e di eseguire il retargeting del movimento verso qualsiasi robot con un solo comando abbassa drasticamente la barriera alla ricerca sull'apprendimento del movimento degli umanoidi.

Il problema che risolve

Strumenti frammentati per l'apprendimento del movimento degli umanoidi: in precedenza i ricercatori avevano bisogno di framework separati per animazione, robotica e RL, con lavoro manuale per il retargeting dei movimenti e per passare da un simulatore all'altro

Punti chiave

• Addestramento sull'intero dataset AMASS (oltre 40 ore) in 12 ore su 4 GPU A100
• Retargeting del movimento con un solo comando verso qualsiasi robot tramite l'ottimizzatore PyRoki
• Supporta i backend di simulazione IsaacGym, IsaacLab, Newton e IsaacSim (il backend Genesis è stato rimosso a ottobre 2026)
• Include la policy generativa MaskedMimic (SIGGRAPH Asia 2024)

A chi si rivolge

• Ricercatori di robotica umanoide
• Ricercatori di animazione dei personaggi
• Professionisti dell'apprendimento per rinforzo
• Sviluppatori su GPU NVIDIA

Limiti

• Richiede GPU NVIDIA (testato su A100)
• Grandi requisiti di calcolo per l'addestramento su scala completa (da 4 a 24 GPU A100)
• Il backend di simulazione Newton è sperimentale
• Catena di dipendenze complessa (IsaacGym, IsaacLab, AMASS, ecc.)