ProtoMotions

GPU에서 시뮬레이션 디지털 휴먼과 휴머노이드 로봇을 훈련하기 위한 NVIDIA 프레임워크

라이선스

Apache-2.0

개요

ProtoMotions는 NVIDIA Research Labs가 개발한 물리적으로 시뮬레이션된 디지털 인간과 휴머노이드 로봇 훈련을 위한 GPU 가속 시뮬레이션 및 학습 프레임워크입니다. 애니메이션, 로봇공학, 강화 학습을 위한 시뮬레이션된 휴머노이드 학습 작업의 빠른 프로토타이핑 플랫폼을 제공합니다.

이 프레임워크는 대규모 모션 학습을 가능하게 합니다. 전체 AMASS 인간 애니메이션 데이터셋(40시간 이상)에서 완전히 물리적으로 시뮬레이션된 캐릭터가 모션 기술을 배우는 데 4개의 A100 GPU로 12시간이 걸립니다. 확장 가능한 다중 GPU 훈련, PyRoki를 통한 모든 로봇으로의 단일 명령 모션 리타겟팅, 물리 엔진 간의 Sim-to-sim 테스트(IsaacGym에서 Newton/MuJoCo Warp), IsaacSim 5.0+에서의 고충실도 렌더링, 텍스트 프롬프트에서의 모션 저작, 절차적 장면 생성, MaskedMimic 같은 생성 정책을 지원합니다.

ProtoMotions는 NVIDIA Newton, IsaacLab, IsaacGym, IsaacSim을 포함한 여러 시뮬레이터 백엔드와 SMPL/SMPLX 디지털 인간, Unitree H1, Unitree G1을 포함한 여러 로봇 형태를 지원합니다.

ProtoMotions를 기반으로 구축된 MaskedMimic 생성 정책은 SIGGRAPH Asia 2024에서 발표되었습니다.

ProtoMotions는 NVIDIA Research에서 개발한 GPU 가속 프레임워크로, 물리 시뮬레이션 기반의 디지털 인간 및 휴머노이드 로봇을 훈련하기 위한 것입니다. 전통적으로 분리되어 있던 캐릭터 애니메이션과 휴머노이드 로봇공학의 세계를 연결하는 통합 프로토타이핑 플랫폼으로, 양쪽 분야의 연구자들이 인프라, 모션 데이터, 훈련된 정책을 공유할 수 있게 합니다.

이 프레임워크의 가장 뛰어난 능력은 규모입니다: 4대의 A100 GPU를 사용하여 완전한 AMASS 모션 데이터셋(40시간 이상의 인간 애니메이션 데이터)으로 완전한 물리 시뮬레이션 캐릭터를 단 12시간 만에 훈련할 수 있습니다. 이는 확장 가능한 다중 GPU 훈련과 NVIDIA 시뮬레이션 스택과의 긴밀한 통합을 통해 가능합니다. ProtoMotions는 PyRoki를 통한 원커맨드 모션 리타겟팅을 지원하여, Unitree H1 및 G1과 같은 로봇에 인간 모션 기술을 간편하게 전이할 수 있습니다.

ProtoMotions는 NVIDIA Newton, IsaacLab, IsaacGym, IsaacSim을 포함한 다중 시뮬레이터 백엔드와 다중 신체 표현(SMPL, SMPLX, 커스텀 로봇 URDF)을 지원합니다. 주요 기능으로는 물리 엔진 간 sim-to-sim 테스팅, IsaacSim 5.0+에서의 고충실도 렌더링, 텍스트 프롬프트 기반 모션 저작, 다양한 훈련 환경을 위한 절차적 장면 생성이 있습니다.

이 프레임워크에는 SIGGRAPH Asia 2024에서 발표된 생성적 물리 기반 캐릭터 컨트롤러인 MaskedMimic이 포함되어 있으며, 이를 통해 물리 시뮬레이션 캐릭터의 프롬프트 기반 제어가 가능합니다. ProtoMotions는 NVIDIA에서 적극적으로 유지보수하고 있으며 휴머노이드 모션 연구를 위한 주요 오픈소스 프로젝트입니다.

중요한 이유

ProtoMotions는 NVIDIA의 통합되고 GPU 가속된 프레임워크를 제공함으로써 캐릭터 애니메이션과 휴머노이드 로봇공학 연구 사이의 격차를 해소합니다. 12시간 안에 40시간 이상의 모션 데이터로 훈련하고 단일 명령으로 모든 로봇에 리타겟팅하는 기능은 휴머노이드 모션 학습 연구의 장벽을 크게 낮춥니다.

해결하는 문제

휴머노이드 모션 학습을 위한 파편화된 도구 - 연구자들은 이전에 애니메이션, 로봇공학, RL을 위한 별도의 프레임워크가 필요했고 모션 리타겟팅과 시뮬레이터 전환을 위한 수동 작업이 필요했음

핵심 요점

• A100 GPU 4개로 AMASS 데이터셋 전체(40시간 이상)를 12시간 만에 훈련
• PyRoki 옵티마이저를 통해 명령 하나로 어떤 로봇에든 모션 리타기팅
• IsaacGym, IsaacLab, Newton, IsaacSim 시뮬레이터 백엔드 지원(Genesis 백엔드는 2026년 10월에 제거됨)
• MaskedMimic 생성형 정책 포함(SIGGRAPH Asia 2024)

대상

• 휴머노이드 로봇공학 연구자
• 캐릭터 애니메이션 연구자
• 강화 학습 실무자
• NVIDIA GPU 개발자

한계

• NVIDIA GPU 필요(A100에서 테스트됨)
• 대규모 훈련을 위한 대용량 컴퓨팅 요구 사항(4-24개의 A100 GPU)
• Newton 시뮬레이터 백엔드는 실험적
• 복잡한 의존성 체인(IsaacGym, IsaacLab, AMASS 등)