ProtoMotions

Framework NVIDIA pour entraîner sur GPU des humains numériques simulés et des robots humanoïdes

Licence

Apache-2.0

Aperçu

ProtoMotions est un framework de simulation et d'apprentissage accéléré par GPU pour entraîner des humains numériques physiquement simulés et des robots humanoïdes, développé par NVIDIA Research Labs. Il fournit une plateforme de prototypage rapide pour les tâches d'apprentissage humanoïde simulées en animation, robotique et apprentissage par renforcement.

Le framework permet l'apprentissage de mouvement à grande échelle — entraîner un personnage entièrement physiquement simulé à apprendre des compétences de mouvement à partir de l'ensemble du dataset d'animation humaine AMASS (plus de 40 heures) en 12 heures sur 4 GPU A100. Il prend en charge l'entraînement multi-GPU évolutif, le reciblage de mouvement en une seule commande vers n'importe quel robot via PyRoki, les tests sim-to-sim entre moteurs physiques (IsaacGym vers Newton/MuJoCo Warp), le rendu haute fidélité dans IsaacSim 5.0+, la création de mouvement à partir de prompts textuels, la génération de scènes procédurales et des politiques génératives comme MaskedMimic.

ProtoMotions prend en charge plusieurs backends de simulateur incluant NVIDIA Newton, IsaacLab, IsaacGym et IsaacSim, et plusieurs morphologies de robot incluant les humains numériques SMPL/SMPLX, Unitree H1 et Unitree G1.

La politique générative MaskedMimic, construite sur ProtoMotions, a été publiée à SIGGRAPH Asia 2024.

ProtoMotions est un framework accéléré par GPU de NVIDIA Research pour entraîner des humains numériques et des robots humanoïdes physiquement simulés. Il sert de plateforme de prototypage unifiée qui relie les mondes traditionnellement séparés de l'animation de personnages et de la robotique humanoïde, permettant aux chercheurs des deux domaines de partager infrastructure, données de mouvement et politiques entraînées.

La capacité phare du framework est son passage à l'échelle : il peut entraîner un personnage entièrement simulé physiquement sur l'ensemble du jeu de données AMASS (plus de 40 heures de données d'animation humaine) en seulement 12 heures avec 4 GPU A100. C'est possible grâce à un entraînement multi-GPU évolutif et à une intégration étroite avec la pile de simulation de NVIDIA. ProtoMotions prend en charge le reciblage de mouvement en une seule commande vers n'importe quelle morphologie de robot via PyRoki, ce qui facilite le transfert de compétences motrices humaines vers des robots comme les Unitree H1 et G1.

ProtoMotions prend en charge plusieurs moteurs de simulation, dont NVIDIA Newton, IsaacLab, IsaacGym et IsaacSim, ainsi que plusieurs représentations corporelles (SMPL, SMPLX et URDF de robots personnalisés). Parmi les fonctionnalités notables : tests sim-to-sim entre moteurs physiques, rendu haute fidélité dans IsaacSim 5.0+, création de mouvements à partir de prompts textuels et génération procédurale de scènes pour des environnements d'entraînement variés.

Le framework inclut MaskedMimic, un contrôleur de personnages génératif fondé sur la physique publié à SIGGRAPH Asia 2024, qui permet de piloter par prompts des personnages physiquement simulés. ProtoMotions est activement maintenu par NVIDIA et constitue sa principale offre open source pour la recherche sur le mouvement humanoïde.

Pourquoi c'est important

ProtoMotions comble l'écart entre la recherche en animation de personnages et la recherche en robotique humanoïde en fournissant un framework unifié et accéléré par GPU de NVIDIA. Sa capacité à s'entraîner sur plus de 40 heures de données de mouvement en 12 heures et à recibler vers n'importe quel robot en une seule commande abaisse considérablement la barrière pour la recherche en apprentissage de mouvement humanoïde.

Le problème résolu

Outillage fragmenté pour l'apprentissage de mouvement humanoïde — les chercheurs avaient auparavant besoin de frameworks séparés pour l'animation, la robotique et le RL, avec un effort manuel pour recibler les mouvements et passer d'un simulateur à l'autre.

Points clés

• Entraînement sur l'ensemble du jeu de données AMASS (plus de 40 heures) en 12 heures sur 4 GPU A100
• Reciblage de mouvement vers n'importe quel robot en une seule commande grâce à l'optimiseur PyRoki
• Prend en charge les moteurs de simulation IsaacGym, IsaacLab, Newton et IsaacSim (le moteur Genesis a été retiré en octobre 2026)
• Comprend la politique générative MaskedMimic (SIGGRAPH Asia 2024)

Pour qui

• Chercheurs en robotique humanoïde
• Chercheurs en animation de personnages
• Praticiens de l'apprentissage par renforcement
• Développeurs NVIDIA GPU

Limites

• Nécessite des GPU NVIDIA (testé sur A100)
• Grandes exigences de calcul pour l'entraînement à pleine échelle (4 à 24 GPU A100)
• Le backend de simulateur Newton est expérimental
• Chaîne de dépendances complexe (IsaacGym, IsaacLab, AMASS, etc.)