SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
著者: Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel, Koushil Sreenath · CoRL 2026
ライセンス
- オープンアクセス
- 論文: arXiv.org perpetual, non-exclusive license 1.0
arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。
重要な理由
大規模な人間の動作データセットを追従させることは、汎用的なヒューマノイドの全身制御への主要な道筋ですが、そのスケールアップには、動作ごとのスペシャリストを損失を伴って蒸留するか、クラスタ規模の計算資源が必要でした。著者らは、1 基の GPU で 3 時間学習しただけで、128 基の GPU で 7 日間学習した最先端のトラッカーを上回り、GPU 時間を 1000 分の 1 以下に抑え、129,514 のベンチマーク動作での失敗はベースラインの 179 件に対し 25 件だったと報告しています。
提案手法
SuperMimic は、記録された剛体シミュレータの遷移から、すべての動作に共通するダイナミクスの単一の微分可能な世界モデルを学習し、それを追従ポリシーと一つのループの中で同時に学習します。短い想像上のロールアウトに対する通時的誤差逆伝播（BPTT）により、ポリシーに解析的な勾配を与えます。
概要
大規模な人間の動作データセットのトラッキングは、汎用的で表現力豊かなヒューマノイドの全身制御に至る主要な道筋となったが、多数の動作へ拡張するにはコストがかかる。現在のパイプラインはモデルフリーの強化学習を用い、動作ごとの専門家を損失のある蒸留で統合するか、クラスタ規模の計算資源で単一の方策を力ずくで学習する。SuperMimic は、すべての動作に共通するダイナミクスを表す一つの微分可能な世界モデルによって、全動作にわたる学習を償却する。このモデルは標準的な剛体シミュレータの記録された遷移から当てはめられる。世界モデルとトラッキング方策は一つのループで一緒に学習され、短い想像ロールアウト上の通時的誤差逆伝播が方策に解析的な勾配を与える。高速な想像ロールアウトと解析的な勾配によって、方策の学習は効率的になる。単一の GPU で 3 時間学習すると、SuperMimic は 128 GPU で 7 日間学習した最先端の動作トラッキングのベースラインの収益を上回る。GPU 時間を 1000× 以上削減し、129,514 個のベンチマーク動作のうち失敗はわずか 25 個で、ベースラインの失敗は 179 個である。GPU 二枚で 9.8 時間学習すると、SuperMimic の失敗はゼロになる。動作データが 1 時間から 264 時間に増えても、世界モデルの予測誤差は安定しており、目標収益に達するまでの GPU 時間はゆっくりとしか増えない。我々の方策は、多様でアクロバティックな動作にわたって実機の Unitree G1 に転移する。SuperMimic は、ヒューマノイドの全身制御を拡張するうえでのボトルネックから計算資源を取り除き、動作トラッキングのスケーリング則を測ることを現実的にする。
リンク
- arXiv 2610.28480: https://arxiv.org/abs/2610.28480
- PDF: https://arxiv.org/pdf/2610.28480
- コード: https://github.com/HybridRobotics/supermimic
- プロジェクトページ: https://supermimic.github.io/