ProtoMotions
Framework de NVIDIA para entrenar humanos digitales simulados y robots humanoides en GPU
Licencia
Apache-2.0
Resumen
ProtoMotions es un framework de simulación y aprendizaje acelerado por GPU para entrenar humanos digitales físicamente simulados y robots humanoides, desarrollado por los Laboratorios de Investigación de NVIDIA. Proporciona una plataforma de prototipado rápido para tareas de aprendizaje humanoide simulado en animación, robótica y aprendizaje por refuerzo.
El framework permite el aprendizaje de movimiento a gran escala -- entrenando un personaje completamente físicamente simulado para aprender habilidades de movimiento del conjunto de datos completo de animación humana AMASS (más de 40 horas) en 12 horas en 4 GPUs A100. Soporta entrenamiento multi-GPU escalable, re-targeting de movimiento con un solo comando a cualquier robot vía PyRoki, pruebas sim-a-sim entre motores de física (de IsaacGym a Newton/MuJoCo Warp), renderizado de alta fidelidad en IsaacSim 5.0+, autoría de movimiento a partir de indicaciones de texto, generación procedimental de escenas y políticas generativas como MaskedMimic.
ProtoMotions soporta múltiples backends de simulador incluyendo NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, y múltiples morfologías de robot incluyendo humanos digitales SMPL/SMPLX, Unitree H1 y Unitree G1.
La política generativa MaskedMimic, construida sobre ProtoMotions, fue publicada en SIGGRAPH Asia 2024.
ProtoMotions es un framework acelerado por GPU de NVIDIA Research para entrenar humanos digitales y robots humanoides físicamente simulados. Funciona como una plataforma unificada de prototipado que conecta los mundos tradicionalmente separados de la animación de personajes y la robótica humanoide, permitiendo a los investigadores de ambos campos compartir infraestructura, datos de movimiento y políticas entrenadas.
La capacidad más destacada del framework es la escala: puede entrenar un personaje completamente simulado físicamente con el dataset AMASS completo (más de 40 horas de datos de animación humana) en solo 12 horas usando 4 GPUs A100. Esto es posible gracias al entrenamiento escalable en varias GPU y a una estrecha integración con el stack de simulación de NVIDIA. ProtoMotions soporta retargeting de movimiento con un solo comando a cualquier morfología robótica mediante PyRoki, facilitando la transferencia de habilidades de movimiento humano a robots como el Unitree H1 y G1.
ProtoMotions es compatible con múltiples backends de simulación incluyendo NVIDIA Newton, IsaacLab, IsaacGym e IsaacSim, así como múltiples representaciones corporales (SMPL, SMPLX y URDFs de robots personalizados). Entre sus características destacadas se incluyen pruebas sim-to-sim entre motores de física, renderizado de alta fidelidad en IsaacSim 5.0+, autoría de movimiento a partir de prompts de texto y generación procedural de escenas para entornos de entrenamiento diversos.
El framework incluye MaskedMimic, un controlador generativo de personajes basado en física publicado en SIGGRAPH Asia 2024, que permite el control mediante prompts de personajes físicamente simulados. ProtoMotions es mantenido activamente por NVIDIA y representa su principal oferta de código abierto para la investigación en movimiento humanoide.
Por qué importa
ProtoMotions cierra la brecha entre la investigación de animación de personajes y robótica humanoide al proporcionar un framework unificado y acelerado por GPU de NVIDIA. Su capacidad para entrenar en más de 40 horas de datos de movimiento en 12 horas y realizar re-targeting a cualquier robot con un solo comando reduce drásticamente la barrera para la investigación de aprendizaje de movimiento humanoide.
Qué problema resuelve
Herramientas fragmentadas para el aprendizaje de movimiento humanoide -- los investigadores anteriormente necesitaban frameworks separados para animación, robótica y RL, con esfuerzo manual para re-targeting de movimientos y cambio entre simuladores
Puntos clave
- Entrena con todo el conjunto de datos AMASS (más de 40 horas) en 12 horas con 4 GPU A100
- Redireccionamiento de movimiento a cualquier robot con un solo comando mediante el optimizador PyRoki
- Admite los backends de simulación IsaacGym, IsaacLab, Newton e IsaacSim (el backend de Genesis se eliminó en octubre de 2026)
- Incluye la política generativa MaskedMimic (SIGGRAPH Asia 2024)
Para quién es
- Investigadores de robótica humanoide
- Investigadores de animación de personajes
- Practicantes de aprendizaje por refuerzo
- Desarrolladores de GPU NVIDIA
Limitaciones
- Requiere GPUs NVIDIA (probado en A100s)
- Grandes requisitos de cómputo para entrenamiento a escala completa (4-24 GPUs A100)
- El backend del simulador Newton es experimental
- Cadena de dependencias compleja (IsaacGym, IsaacLab, AMASS, etc.)