ProtoMotions

NVIDIA 推出的框架，用于在 GPU 上训练仿真数字人和人形机器人

许可证

Apache-2.0

概述

ProtoMotions 是 NVIDIA 研究实验室开发的 GPU 加速仿真和学习框架，用于训练物理仿真数字人和人形机器人。它为跨动画、机器人和强化学习的仿真人形学习任务提供快速原型开发平台。

该框架支持大规模运动学习——在 4 个 A100 GPU 上 12 小时内训练完全物理仿真角色学习整个 AMASS 人体动画数据集（40 多小时）的运动技能。它支持可扩展的多 GPU 训练、通过 PyRoki 一键将运动重定向到任意机器人、跨物理引擎（IsaacGym 到 Newton/MuJoCo Warp）的仿真间测试、在 IsaacSim 5.0+ 中的高保真渲染、从文本提示生成运动、程序化场景生成，以及 MaskedMimic 等生成策略。

ProtoMotions 支持多个仿真器后端，包括 NVIDIA Newton、IsaacLab、IsaacGym 和 IsaacSim，以及多种机器人形态，包括 SMPL/SMPLX 数字人、Unitree H1 和 Unitree G1。

基于 ProtoMotions 构建的 MaskedMimic 生成策略已在 SIGGRAPH Asia 2024 上发表。

ProtoMotions是NVIDIA Research开发的GPU加速框架，用于训练物理仿真的数字人和人形机器人。它作为统一的原型开发平台，连接了传统上相互独立的角色动画和人形机器人领域，使两个领域的研究人员能够共享基础设施、运动数据和训练策略。

该框架最突出的能力在于规模：它可以在4块A100 GPU上仅用12小时就完成在完整AMASS运动数据集（超过40小时的人体动画数据）上训练一个完全物理仿真角色。这得益于可扩展的多GPU训练以及与NVIDIA仿真技术栈的紧密集成。ProtoMotions支持通过PyRoki一键将运动重定向到任意机器人形态，使得将人体运动技能迁移到Unitree H1和G1等机器人变得简单直接。

ProtoMotions支持多种仿真器后端，包括NVIDIA Newton、IsaacLab、IsaacGym和IsaacSim，以及多种人体表示方式（SMPL、SMPLX和自定义机器人URDF）。主要功能包括跨物理引擎的仿真到仿真测试、IsaacSim 5.0+中的高保真渲染、基于文本提示的运动创作，以及用于多样化训练环境的程序化场景生成。

该框架包含MaskedMimic，这是一个发表于SIGGRAPH Asia 2024的生成式物理角色控制器，可以实现对物理仿真角色的提示驱动控制。ProtoMotions由NVIDIA积极维护，是其在人形运动研究领域的主要开源产品。

为何重要

ProtoMotions 通过提供来自 NVIDIA 的统一 GPU 加速框架，弥合了角色动画和人形机器人研究之间的差距。它能够在 12 小时内训练 40 多小时的运动数据，并通过一条命令将运动重定向到任意机器人，大幅降低了人形运动学习研究的门槛。

解决的问题

人形运动学习的工具碎片化——研究人员以前需要针对动画、机器人和强化学习使用独立框架，并需要手动进行运动重定向和切换仿真器

要点

• 在 4 块 A100 GPU 上 12 小时即可在整个 AMASS 数据集（40+ 小时）上完成训练
• 通过 PyRoki 优化器一条命令即可将动作重定向到任意机器人
• 支持 IsaacGym、IsaacLab、Newton 和 IsaacSim 仿真器后端（Genesis 后端已于 2026 年 10 月移除）
• 包含 MaskedMimic 生成式策略（SIGGRAPH Asia 2024）

适用人群

• 人形机器人研究人员
• 角色动画研究人员
• 强化学习从业者
• NVIDIA GPU 开发者

局限

• 需要 NVIDIA GPU（在 A100 上测试）
• 全规模训练需要大量计算（4-24 个 A100 GPU）
• Newton 仿真器后端处于实验阶段
• 复杂的依赖链（IsaacGym、IsaacLab、AMASS 等）