ProtoMotions
NVIDIA 的框架，用於在 GPU 上訓練模擬的數位人類與人形機器人
授權條款
Apache-2.0
概述
ProtoMotions 是由 NVIDIA Research Labs 開發的 GPU 加速模擬與學習框架，用於訓練物理模擬的數位人類與人形機器人。它為動畫、機器人與強化學習領域的模擬人形學習任務，提供快速的原型開發平台。
這個框架能進行大規模的動作學習：在 4 顆 A100 GPU 上，於 12 小時內讓一個完全物理模擬的角色從整個 AMASS 人體動畫資料集（40 多小時）學會動作技能。它支援可擴展的多 GPU 訓練、透過 PyRoki 以單一指令將動作重定向到任何機器人、跨物理引擎的模擬到模擬測試（從 IsaacGym 到 Newton/MuJoCo Warp）、在 IsaacSim 5.0 以上版本中進行高擬真度算繪、從文字提示產生動作、程序化場景生成，以及 MaskedMimic 等生成式策略。
ProtoMotions 支援多種模擬器後端，包括 NVIDIA Newton、IsaacLab、IsaacGym 與 IsaacSim，也支援多種機器人形態，包括 SMPL/SMPLX 數位人類、Unitree H1 與 Unitree G1。
建構在 ProtoMotions 之上的 MaskedMimic 生成式策略，已發表於 SIGGRAPH Asia 2024。
ProtoMotions 是 NVIDIA Research 推出的 GPU 加速框架，用於訓練以物理模擬的數位人與人形機器人。它是一個統一的原型開發平台，連接了傳統上各自獨立的角色動畫與人形機器人兩個領域，讓兩個領域的研究人員能共享基礎設施、動作資料與訓練好的策略。
這個框架最突出的能力是規模：它能以 4 顆 A100 GPU，只花 12 小時，就在完整的 AMASS 動作資料集（超過 40 小時的人類動畫資料）上訓練出一個完全以物理模擬的角色。這得益於可擴展的多 GPU 訓練，以及與 NVIDIA 模擬堆疊的緊密整合。ProtoMotions 支援透過 PyRoki，以單一指令將動作重定向到任何機器人形態，讓人類的動作技能能輕鬆轉移到 Unitree H1 與 G1 等機器人上。
ProtoMotions 支援多種模擬器後端，包括 NVIDIA Newton、IsaacLab、IsaacGym 與 IsaacSim，也支援多種人體表示法（SMPL、SMPLX 與自訂的機器人 URDF）。值得注意的功能包括跨物理引擎的 sim-to-sim 測試、IsaacSim 5.0+ 中的高擬真渲染、以文字提示製作動作，以及為多樣化訓練環境進行程序化場景生成。
這個框架包含 MaskedMimic，這是一個發表於 SIGGRAPH Asia 2024 的生成式物理角色控制器，可透過提示來控制以物理模擬的角色。ProtoMotions 由 NVIDIA 積極維護，是 NVIDIA 在人形動作研究方面主要的開源成果。
為何重要
ProtoMotions 由 NVIDIA 提供統一、GPU 加速的框架，銜接角色動畫與人形機器人研究。它能在 12 小時內以 40 多小時的動作資料完成訓練，並以單一指令重定向到任何機器人，大幅降低人形機器人動作學習研究的門檻。
解決的問題
人形機器人動作學習的工具零散：研究人員過去需要分別使用動畫、機器人與強化學習的框架，並以人工方式重定向動作與切換模擬器
重點
- 在 4 顆 A100 GPU 上，12 小時內以整個 AMASS 資料集（40 多小時）完成訓練
- 透過 PyRoki 最佳化器，以單一指令將動作重定向到任何機器人
- 支援 IsaacGym、IsaacLab、Newton 與 IsaacSim 模擬器後端（Genesis 後端已於 2026 年 10 月移除）
- 包含 MaskedMimic 生成式策略（SIGGRAPH Asia 2024）
適用對象
- 人形機器人研究人員
- 角色動畫研究人員
- 強化學習實務工作者
- NVIDIA GPU 開發者
限制
- 需要 NVIDIA GPU（在 A100 上測試）
- 完整規模的訓練需要大量運算資源（4-24 顆 A100 GPU）
- Newton 模擬器後端仍屬實驗性質
- 相依鏈複雜（IsaacGym、IsaacLab、AMASS 等）