RoboKit
ロボットの逆運動学、動作計画、リターゲティング、把持の問題を GPU で数千件同時に解くオープンソースのツールキット
ライセンス
MIT
コード:MIT(RoboKit、RetargetingKit、GraspKit の各リポジトリの LICENSE による)。ロボットモデルとデータセットはプロジェクトの Hugging Face データセットから取得され、それぞれのライセンスが適用されます。いくつかは CC BY-NC または CC BY-NC-SA(例:Inspire ハンドのモデルと DexYCB)で、AMASS、ARCTIC、GRAB、MANO、SMPL-X のデータには研究用途の制限があります。ライセンスが示されていないモデルもあり(例:XHand)、プロジェクト自身のアセットライセンス一覧にもそう書かれています。商用利用や再配布の前にこの一覧を確認してください。2026-11-07 に LICENSE とアセットライセンス一覧で確認。
概要
RoboKit は、UC サンディエゴの Xiaolong Wang の研究グループによるロボット最適化のためのオープンソース Python ツールキットで、筆頭著者は Jianglong Ye です。URDF または MJCF からロボットを読み込み、バッチ化された微分可能な運動学を GPU 上で計算し、コスト項の和として書かれたタスクをサンプリング型と勾配型の最適化手法で解きます。1 つの問題から数千の問題の並列処理まで対応します。組み込みタスクは、逆運動学、衝突のない動作計画、手とヒューマノイドのモーションリターゲティング、ハンドアイキャリブレーション、把持合成、そして MuJoCo Warp を使ったモデル予測制御です。同時に公開された 2 つの関連ツールキット、遠隔操作用の RetargetingKit と器用な把持のための GraspKit の土台でもあります。バージョン 1.0.0 が PyPI で公開されており、著者によると、これを説明する論文は CoRL 2026 に spotlight として採択されました。
RoboKit は、ロボティクスにおける小さな最適化問題の多くを 1 種類の問題として扱います。ロボットは URDF または MJCF からバッチ化された微分可能な運動学として読み込まれ、タスクは姿勢目標、衝突、関節限界、接触といったコスト項の集合として表されます。集団ソルバーは Levenberg-Marquardt、L-BFGS、勾配降下法で多数の候補解を同時に動かすか、MPPI や進化戦略に似た手順でサンプリングします。これらの部品の組み合わせ方は最適化ガイドで説明されています。運動学と幾何計算は NVIDIA Warp 上で動き、PyTorch は任意です。同じコードで 1 つの問題も数千の問題も並列に扱え、GPU があれば GPU 上で実行されます。
組み込みタスクは、固定ベースまたは浮遊ベースの逆運動学、障害物を避けるオフラインとオンラインの動作計画、物体との接触も扱える手、ヒューマノイド、全身のモーションリターゲティング、レンダリングしたロボットマスクからのカメラキャリブレーション、任意のハンドに対するフォースクロージャー把持の合成です。MuJoCo Warp の追加パッケージを入れると、シミュレータを通じたサンプリング型のモデル予測制御も行えます。例として、Sharpa ハンドのペン回し、箱によじ登る Unitree G1、選んだ足場に跳躍を決める Go2 が含まれています。強化学習の経路では、NIST ボードの部品を組み付ける Franka や階段を上り下りする Go1 などのポリシーを学習できます。ロボットモデルとデータセットはプロジェクトの Hugging Face データセットから取得され、1 つのリビジョンに固定されます。Franka Panda や xArm などのアーム、十数台のヒューマノイド、多くのロボットハンドとグリッパーが含まれます。クイックスタートにあるとおり、Viser を使ったインタラクティブなギャラリーをパッケージから直接実行できます。
RoboKit は 2026 年 11 月 6 日に OpenRoboKit の一部として発表され、その上に作られた 2 つのツールキットも同時に公開されました。RetargetingKit は、Apple Vision Pro、PICO、Manus グローブ、モーションキャプチャから得たリアルタイムまたは記録済みの人の動きを、ロボットハンド、アーム、ヒューマノイドに写し、リアルタイムの遠隔操作やバッチでのリターゲティングに使えます。出力先には xArm アームと Inspire、Ability のハンドが含まれます。GraspKit は把持の一連の流れを担います。GPU 上で把持を最適化し、点群をレンダリングし、点群を把持軌道に変換するポリシーを学習して、ManiSkill または実機に展開します。実機用プリセットでは xArm6 と xArm7 のアームを XHand、Sharpa、Ability のハンドと組み合わせています。チームの発表では、この構成でサンディエゴの屋外で 16 時間続けた把持の様子が紹介されています。4 つ目のリポジトリ RoboSkills は、ロボティクス向けのエージェントのワークフローをまとめたものです。チームは README で、比較対象のツールに対して大きな時間短縮を報告しています。比較対象には、逆運動学の PyRoki、動作計画の cuRobo、ヒューマノイドのリターゲティングの GMR、強化学習ポリシーの学習完了までの時間の mjlab が含まれます。ベンチマークの詳細は論文にありますが、論文はまだ公開されていません。
重要な理由
ロボット学習のパイプラインは、同じ小さな最適化を何度も繰り返します。リターゲティングした動きの各フレームの逆運動学、データセット内の各物体の把持、始点と終点の組ごとの経路計画です。現在、それぞれに別のライブラリと独自のロボット読み込み処理が必要になることが多く、たとえば運動学には PyRoki や mink、経路計画には cuRobo、リターゲティングにはまた別のツールを使います。RoboKit はそれらを 1 つのバッチ化された微分可能な基盤にまとめるので、研究室は依存関係 1 つでリターゲティングした動きや把持データセットを大規模に生成し、同じロボットモデルを経路計画やキャリブレーションにも使い回せます。関連ツールキットは、この基盤が実機にまで届くことを示しています。GraspKit のポリシーは器用なハンドを付けた xArm アームで動き、RetargetingKit はハンドやヒューマノイドをリアルタイムで動かします。当サイトの frax や PyRoki のページの読者にとっては、扱えるタスクがより広い、GPU バッチ処理によるロボット運動学の最新の選択肢です。mjlab や MuJoCo の利用者にとっては、MuJoCo Warp 上のサンプリング型 MPC が加わります。公開から数日しか経っていないため、速度の主張と機能の幅はこれから外部の利用者が確かめる必要があります。
解決する課題
逆運動学、動作計画、リターゲティング、キャリブレーション、把持合成は、たいてい 1 問ずつ、それぞれ専用のライブラリとロボット記述で解かれています。RoboKit はそれらを 1 つのバッチ化された微分可能なロボットモデル上のコスト項として表し、GPU 上で数千件を並列に解くので、大量のロボットデータを作ることや多数の問題を一度に解くことがボトルネックではなくなります。
主なポイント
- 逆運動学、動作計画、リターゲティング、ハンドアイキャリブレーション、把持合成、MPC を 1 つのツールキットで扱える
- タスクはコスト項の和で、サンプリング型と勾配型の最適化手法により 1 件でも数千件でも並列に解ける
- URDF または MJCF から作るバッチ化された微分可能な運動学を NVIDIA Warp 上で計算。PyTorch は任意
- MuJoCo Warp を使ったサンプリング型 MPC と強化学習の学習経路があり、ハンド、ヒューマノイド、四足ロボットの例がある
- RetargetingKit と GraspKit がその上に遠隔操作と器用な把持を実装し、ロボットハンド付きの xArm アームで試されている
- バージョン 1.0.0 を MIT ライセンスで PyPI 公開。ロボットモデルとデータセットにはそれぞれのライセンスがある
対象
- リターゲティングした動き、把持、軌道を大量に生成するロボット学習の研究者
- VR、グローブ、モーションキャプチャで器用なハンドやヒューマノイドを遠隔操作するチーム
- 複数のタスクを 1 つのバッチ基盤で扱いたい PyRoki、cuRobo、mink の利用者
- xArm アームとロボットハンドで器用な把持に取り組む研究室
制限事項
- 2026 年 11 月 6 日に 1 つの研究室が発表したばかりで、外部での利用はまだ少ない
- 高速化の数値は著者自身の測定で、ベンチマークの詳細を載せた論文はまだ公開されていない
- ロボットモデルとデータセットにはそれぞれのライセンスがあり、いくつかは非商用(CC BY-NC)、一部の動作データや手のデータ(AMASS、ARCTIC、GRAB、MANO、SMPL-X)には研究用途の制限があると、プロジェクト自身のアセットライセンス一覧に記載されている
- GPU を多く使う機能には NVIDIA のハードウェアが必要。GraspKit の最適化、レンダリング、学習には CUDA 対応 GPU が、カメラキャリブレーションには使用中の PyTorch と CUDA に合わせてビルドした nvdiffrast が必要
- GraspKit と RetargetingKit はバージョン 0.1.0 で、実機向けの経路は特定の構成向けに用意されている。XHand、Sharpa、Ability のハンドを付けた xArm アーム