ProtoMotions

Framework da NVIDIA para treinar humanos digitais simulados e robôs humanoides em GPUs

Licença

Apache-2.0

Visão geral

ProtoMotions é um framework de simulação e aprendizado acelerado por GPU para treinar humanos digitais simulados fisicamente e robôs humanoides, desenvolvido pelos NVIDIA Research Labs. Fornece uma plataforma de prototipagem rápida para tarefas de aprendizado humanoide simuladas em animação, robótica e aprendizado por reforço.

O framework permite aprendizado de movimento em larga escala — treinando um personagem completamente simulado fisicamente para aprender habilidades de movimento de todo o conjunto de dados de animação humana AMASS (mais de 40 horas) em 12 horas em 4 GPUs A100. Suporta treinamento multi-GPU escalável, retargeting de movimento com um único comando para qualquer robô via PyRoki, teste sim-para-sim entre motores de física (IsaacGym para Newton/MuJoCo Warp), renderização de alta fidelidade no IsaacSim 5.0+, criação de movimento a partir de prompts de texto, geração procedural de cenas e políticas generativas como MaskedMimic.

ProtoMotions suporta múltiplos backends de simulador incluindo NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, e múltiplas morfologias de robô incluindo humanos digitais SMPL/SMPLX, Unitree H1 e Unitree G1.

A política generativa MaskedMimic, construída sobre ProtoMotions, foi publicada no SIGGRAPH Asia 2024.

ProtoMotions é um framework acelerado por GPU da NVIDIA Research para treinar humanos digitais e robôs humanoides fisicamente simulados. Ele funciona como uma plataforma unificada de prototipagem que conecta os mundos tradicionalmente separados da animação de personagens e da robótica humanoide, permitindo que pesquisadores de ambas as áreas compartilhem infraestrutura, dados de movimento e políticas treinadas.

A capacidade de destaque do framework é a escala: ele consegue treinar um personagem totalmente simulado fisicamente no dataset AMASS completo (mais de 40 horas de dados de animação humana) em apenas 12 horas usando 4 GPUs A100. Isso é possível graças ao treinamento escalável em várias GPUs e à integração estreita com a stack de simulação da NVIDIA. O ProtoMotions suporta retargeting de movimento com um único comando para qualquer morfologia de robô via PyRoki, tornando simples a transferência de habilidades de movimento humano para robôs como o Unitree H1 e G1.

O ProtoMotions suporta múltiplos backends de simulação incluindo NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, além de múltiplas representações corporais (SMPL, SMPLX e URDFs personalizados de robôs). Recursos notáveis incluem testes sim-to-sim entre motores de física, renderização de alta fidelidade no IsaacSim 5.0+, autoria de movimentos a partir de prompts de texto e geração procedural de cenas para ambientes de treinamento diversos.

O framework inclui o MaskedMimic, um controlador generativo de personagens baseado em física publicado no SIGGRAPH Asia 2024, que permite o controle por prompts de personagens fisicamente simulados. O ProtoMotions é mantido ativamente pela NVIDIA e representa sua principal oferta open-source para pesquisa em movimento de humanoides.

Por que importa

ProtoMotions preenche a lacuna entre pesquisa de animação de personagens e robótica humanoide ao fornecer um framework unificado e acelerado por GPU da NVIDIA. Sua capacidade de treinar em mais de 40 horas de dados de movimento em 12 horas e redirecionar para qualquer robô com um único comando reduz drasticamente a barreira para pesquisa de aprendizado de movimento humanoide.

Problema que resolve

Ferramentas fragmentadas para aprendizado de movimento humanoide — pesquisadores anteriormente precisavam de frameworks separados para animação, robótica e RL, com esforço manual para redirecionar movimentos e alternar entre simuladores

Pontos principais

• Treina com o dataset AMASS inteiro (mais de 40 horas) em 12 horas com 4 GPUs A100
• Retargeting de movimento para qualquer robô com um único comando, via otimizador PyRoki
• Suporta os backends de simulação IsaacGym, IsaacLab, Newton e IsaacSim (o backend Genesis foi removido em outubro de 2026)
• Inclui a política generativa MaskedMimic (SIGGRAPH Asia 2024)

Para quem é

• Pesquisadores de robótica humanoide
• Pesquisadores de animação de personagens
• Praticantes de aprendizado por reforço
• Desenvolvedores de GPU NVIDIA

Limitações

• Requer GPUs NVIDIA (testado em A100s)
• Grandes requisitos de computação para treinamento em escala completa (4-24 GPUs A100)
• Backend do simulador Newton é experimental
• Cadeia de dependência complexa (IsaacGym, IsaacLab, AMASS, etc.)