ProtoMotions

NVIDIA-Framework zum Training simulierter digitaler Menschen und humanoider Roboter auf GPUs

Lizenz

Apache-2.0

Überblick

ProtoMotions ist ein GPU-beschleunigtes Simulations- und Lernframework für das Training physikalisch simulierter digitaler Menschen und humanoider Roboter, entwickelt von NVIDIA Research Labs. Es bietet eine Plattform für schnelles Prototyping simulierter humanoider Lernaufgaben in Animation, Robotik und Reinforcement Learning.

Das Framework ermöglicht Bewegungslernen im großen Maßstab – ein vollständig physikalisch simulierter Charakter lernt Bewegungsfähigkeiten aus dem gesamten AMASS-Datensatz menschlicher Animationen (über 40 Stunden) innerhalb von 12 Stunden auf 4 A100-GPUs. Es unterstützt skalierbares Multi-GPU-Training, Motion-Retargeting auf beliebige Roboter mit einem einzigen Befehl über PyRoki, Sim-to-Sim-Tests über Physik-Engines hinweg (von IsaacGym nach Newton/MuJoCo Warp), hochauflösendes Rendering in IsaacSim 5.0+, Bewegungserstellung aus Textprompts, prozedurale Szenengenerierung und generative Policies wie MaskedMimic.

ProtoMotions unterstützt mehrere Simulator-Backends, darunter NVIDIA Newton, IsaacLab, IsaacGym und IsaacSim, sowie mehrere Robotermorphologien, darunter digitale Menschen nach SMPL/SMPLX, Unitree H1 und Unitree G1.

Die auf ProtoMotions aufbauende generative Policy MaskedMimic wurde auf der SIGGRAPH Asia 2024 veröffentlicht.

ProtoMotions ist ein GPU-beschleunigtes Framework von NVIDIA Research zum Training physikalisch simulierter digitaler Menschen und humanoider Roboter. Es dient als einheitliche Prototyping-Plattform, die die traditionell getrennten Welten der Charakteranimation und der humanoiden Robotik verbindet und Forschenden beider Bereiche ermöglicht, Infrastruktur, Bewegungsdaten und trainierte Policies gemeinsam zu nutzen.

Die herausragende Fähigkeit des Frameworks ist die Skalierbarkeit: Es kann einen vollständig physikalisch simulierten Charakter auf dem gesamten AMASS-Bewegungsdatensatz (über 40 Stunden menschlicher Animationsdaten) in nur 12 Stunden mit 4 A100-GPUs trainieren. Dies wird durch skalierbares Multi-GPU-Training und die enge Integration mit NVIDIAs Simulationsstack ermöglicht. ProtoMotions unterstützt Motion-Retargeting auf beliebige Robotermorphologien mit einem einzigen Befehl über PyRoki, was die Übertragung menschlicher Bewegungsfähigkeiten auf Roboter wie den Unitree H1 und G1 unkompliziert macht.

ProtoMotions unterstützt mehrere Simulator-Backends, darunter NVIDIA Newton, IsaacLab, IsaacGym und IsaacSim, sowie verschiedene Körperrepräsentationen (SMPL, SMPLX und benutzerdefinierte Robot-URDFs). Zu den bemerkenswerten Funktionen gehören Sim-to-Sim-Tests über verschiedene Physik-Engines hinweg, hochauflösendes Rendering in IsaacSim 5.0+, Bewegungserstellung aus Textprompts und prozedurale Szenengenerierung für vielfältige Trainingsumgebungen.

Das Framework enthält MaskedMimic, einen generativen physikbasierten Charaktercontroller, der auf der SIGGRAPH Asia 2024 veröffentlicht wurde und promptgesteuerte Kontrolle physikalisch simulierter Charaktere ermöglicht. ProtoMotions wird aktiv von NVIDIA gepflegt und stellt deren primäres Open-Source-Angebot für die Forschung an humanoider Bewegung dar.

Warum es wichtig ist

ProtoMotions überbrückt die Lücke zwischen Charakter-Animation und Humanoid-Robotikforschung durch ein einheitliches, GPU-beschleunigtes Framework von NVIDIA. Die Fähigkeit, auf 40+ Stunden Bewegungsdaten in 12 Stunden zu trainieren und mit einem Befehl auf jeden Roboter zu retargeting, senkt die Hürde für humanoide Bewegungslernforschung erheblich.

Welches Problem es löst

Fragmentiertes Tooling für humanoide Bewegungslernforschung -- Forscher benötigten zuvor separate Frameworks für Animation, Robotik und RL, mit manuellem Aufwand für Motion-Retargeting und Simulator-Wechsel

Wichtigste Punkte

• Training auf dem gesamten AMASS-Datensatz (mindestens 40 Stunden) in 12 Stunden auf 4 A100-GPUs
• Bewegungs-Retargeting auf beliebige Roboter mit einem Befehl über den Optimierer PyRoki
• Unterstützt die Simulator-Backends IsaacGym, IsaacLab, Newton und IsaacSim (das Genesis-Backend wurde im Oktober 2026 entfernt)
• Enthält die generative Policy MaskedMimic (SIGGRAPH Asia 2024)

Für wen

• Humanoid-Robotikforscher
• Charakter-Animations-Forscher
• Reinforcement-Learning-Praktiker
• NVIDIA GPU-Entwickler

Einschränkungen

• Erfordert NVIDIA-GPUs (auf A100s getestet)
• Hoher Rechenaufwand für vollskaliges Training (4-24 A100-GPUs)
• Newton-Simulator-Backend ist experimentell
• Komplexe Abhängigkeitskette (IsaacGym, IsaacLab, AMASS usw.)