SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
저자: Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel, Koushil Sreenath · CoRL 2026
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
중요한 이유
대규모 인간 동작 데이터셋을 추종하는 것은 범용 휴머노이드 전신 제어로 가는 주요 경로이지만, 이를 확장하려면 동작별 전문가 정책을 손실을 감수하며 증류하거나 클러스터 규모의 연산이 필요했습니다. 저자들은 GPU 1개로 3시간 학습한 뒤 GPU 128개로 7일간 학습한 최신 추적기를 능가했으며, GPU 시간을 1000배 이상 줄이고 129,514개 벤치마크 동작에서 기준 모델의 179건 대비 25건만 실패했다고 보고합니다.
제안 방법
SuperMimic은 기록된 강체 시뮬레이터 전이로부터 모든 동작이 공유하는 동역학에 대한 하나의 미분 가능한 월드 모델을 학습하고, 이를 추적 정책과 하나의 루프에서 함께 학습합니다. 짧은 상상 롤아웃에 대한 시간 역전파(BPTT)를 사용해 정책에 해석적 그래디언트를 제공합니다.
초록
대규모 인간 동작 데이터셋을 추적하는 것은 범용적이고 표현력 있는 휴머노이드 전신 제어로 가는 주된 길이 되었지만, 많은 동작으로 확장하는 데는 비용이 많이 듭니다. 현재 파이프라인은 모델 없는 강화 학습을 사용해, 동작별 전문가를 손실이 있는 증류로 합치거나 클러스터 규모의 연산으로 단일 정책을 억지로 학습합니다. SuperMimic은 모든 동작이 공유하는 동역학을 나타내는 하나의 미분 가능한 월드 모델로 모든 동작에 걸친 학습을 분할 상환하며, 이 모델은 표준 강체 시뮬레이터에서 기록한 전이로부터 적합됩니다. 월드 모델과 추적 정책은 하나의 루프에서 함께 학습되고, 짧은 상상 롤아웃에 대한 시간 역전파가 정책에 해석적 그래디언트를 제공합니다. 빠른 상상 롤아웃과 해석적 그래디언트 덕분에 정책 학습이 효율적입니다. 단일 GPU에서 3시간 만에 SuperMimic은 GPU 128장으로 7일 동안 학습한 최신 동작 추적 기준선의 리턴을 넘어섭니다. GPU 시간을 1000× 이상 줄이고, 129,514개 벤치마크 동작 중 25개에서만 실패하며, 기준선은 179개에서 실패합니다. GPU 두 장으로 9.8시간 학습한 뒤 SuperMimic은 실패가 하나도 없습니다. 동작 데이터가 1시간에서 264시간으로 늘어나도 월드 모델의 예측 오차는 안정적으로 유지되고, 목표 리턴에 도달하는 데 필요한 GPU 시간은 천천히 늘어납니다. 우리 정책은 다양하고 곡예적인 동작에 걸쳐 실제 Unitree G1으로 전이됩니다. SuperMimic은 휴머노이드 전신 제어를 확장하는 데 있어 연산을 병목에서 제거하고, 동작 추적의 스케일링 법칙을 측정하는 일을 현실적으로 만듭니다.
링크
- arXiv 2610.28480: https://arxiv.org/abs/2610.28480
- PDF: https://arxiv.org/pdf/2610.28480
- 코드: https://github.com/HybridRobotics/supermimic
- 프로젝트 페이지: https://supermimic.github.io/