Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

ProtoMotions

シミュレーション上のデジタルヒューマンとヒューマノイドロボットをGPUで学習させるNVIDIAのフレームワーク

ライセンス

Apache-2.0

概要

ProtoMotionsは、NVIDIA Research Labsが開発した物理シミュレートされたデジタルヒューマンとヒューマノイドロボットをトレーニングするためのGPUアクセラレーテッドシミュレーションおよび学習フレームワークで、アニメーション・ロボティクス・強化学習にわたるシミュレートされたヒューマノイド学習タスクの高速プロトタイピングプラットフォームを提供します。

このフレームワークは、4台のA100 GPUで12時間以内にAMASSヒューマンアニメーションデータセット全体（40時間以上）からモーションスキルを学習する完全な物理シミュレートキャラクターのトレーニングなど、大規模なモーション学習を可能にします。スケーラブルなマルチGPUトレーニング・PyRoki経由の任意のロボットへのワンコマンドモーションリターゲティング・物理エンジン間のsim2simテスト（IsaacGymからNewton/MuJoCo Warpへ）・IsaacSim 5.0以上での高忠実度レンダリング・テキストプロンプトからのモーション生成・手続き的シーン生成・MaskedMimicのような生成ポリシーをサポートします。

ProtoMotionsはNVIDIA Newton・IsaacLab・IsaacGym・IsaacSimを含む複数のシミュレーターバックエンドと、SMPL/SMPLXデジタルヒューマン・Unitree H1・Unitree G1を含む複数のロボット形態をサポートします。

ProtoMotionsに構築されたMaskedMimic生成ポリシーはSIGGRAPH Asia 2024で発表されました。

ProtoMotionsは、NVIDIA Researchが開発した物理シミュレーションによるデジタルヒューマンおよびヒューマノイドロボットの訓練のためのGPUアクセラレーテッドフレームワークです。キャラクターアニメーションとヒューマノイドロボティクスという従来分離されていた2つの世界を橋渡しする統合プロトタイピングプラットフォームとして機能し、両分野の研究者がインフラストラクチャ、モーションデータ、学習済みポリシーを共有できるようにします。

このフレームワークの際立った能力はスケーラビリティです。完全な物理シミュレーションキャラクターを、AMASSモーションデータセット全体（40時間以上の人間のアニメーションデータ）で、4基のA100 GPUを使用してわずか12時間で訓練できます。これは、スケーラブルなマルチGPU訓練とNVIDIAのシミュレーションスタックとの緊密な統合によって実現されています。ProtoMotionsはPyRokiを介した任意のロボット形態へのワンコマンドモーションリターゲティングをサポートしており、Unitree H1やG1などのロボットへの人間のモーションスキルの転移を容易にします。

ProtoMotionsはNVIDIA Newton、IsaacLab、IsaacGym、IsaacSimなど複数のシミュレータバックエンドをサポートし、SMPL、SMPLX、カスタムロボットURDFなど複数のボディ表現にも対応しています。主な機能には、物理エンジン間のsim-to-simテスト、IsaacSim 5.0以降での高忠実度レンダリング、テキストプロンプトからのモーションオーサリング、多様な訓練環境のための手続き的シーン生成などがあります。

このフレームワークにはSIGGRAPH Asia 2024で発表された生成的物理ベースキャラクターコントローラであるMaskedMimicが含まれており、物理シミュレーションされたキャラクターのプロンプト駆動制御を実現します。ProtoMotionsはNVIDIAによって積極的にメンテナンスされており、ヒューマノイドモーション研究における主要なオープンソース製品として位置づけられています。

重要な理由

ProtoMotionsはキャラクターアニメーションとヒューマノイドロボティクス研究の間のギャップをNVIDIAからの統一されたGPUアクセラレーテッドフレームワークで橋渡しします。12時間以内に40時間以上のモーションデータをトレーニングし、ワンコマンドで任意のロボットにリターゲティングできる能力は、ヒューマノイドモーション学習研究の障壁を大幅に下げます。

解決する課題

ヒューマノイドモーション学習のためのツールが分断されており、研究者はアニメーション・ロボティクス・RLのために別々のフレームワークが必要で、モーションのリターゲティングとシミュレーターの切り替えに手動の労力が必要でした。

主なポイント

  • AMASSデータセット全体（40時間以上）を4基のA100 GPUで12時間で学習
  • PyRokiオプティマイザーにより、1コマンドで任意のロボットへモーションリターゲティング
  • IsaacGym、IsaacLab、Newton、IsaacSimのシミュレーターバックエンドに対応（Genesisバックエンドは2026年10月に削除）
  • MaskedMimic生成ポリシー（SIGGRAPH Asia 2024）を同梱

対象

  • ヒューマノイドロボティクス研究者
  • キャラクターアニメーション研究者
  • 強化学習の実践者
  • NVIDIA GPU開発者

制限事項

  • NVIDIA GPUが必要（A100でテスト）
  • フルスケールトレーニングのための大規模な計算要件（4〜24台のA100 GPU）
  • Newtonシミュレーターバックエンドは実験的
  • 複雑な依存関係チェーン（IsaacGym・IsaacLab・AMASSなど）

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。