Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

wuji-mjlab

Wuji Hand でキューブ回転とペン回しの手内操作ポリシーを学習・展開

ライセンス

Apache-2.0

概要

wuji-mjlab は、Wuji Technology が自社のロボットハンド向けに公開した、手内での器用な操作のための学習・展開コードだ。ポリシーは MuJoCo 上に構築された GPU 並列のロボット学習フレームワーク mjlab で PPO により学習され、カメラを使った閉ループで実機のハンド上で動く。タスクは 2 つある。Cube Reorient は手のひらを上にして持ったキューブを任意の目標姿勢まで回して保持するもので、Wuji Hand と Wuji Hand 2 の両方に対応する。PenSpin は Wuji Hand 2 に参照動作を追従させて長さ 250 mm のペンを回させるもので、20 の指関節を 50 Hz で制御する。2026 年 9 月のリリースには、PyTorch と ONNX の学習済みチェックポイント、ペン回しの 40 のモーションクリップと学習レシピ、そして STEP と 3MF 形式の印刷用の取り付け治具、キューブ、ペンが含まれる。コードは Apache 2.0 ライセンスだ。

手内操作の成果の多くは論文と動画だけだ。これは最初から最後まで実際に動かせるパイプラインである。学習、エクスポート、展開がすべてリポジトリにあり、ポリシーはダウンロードでき、実機の構成もカメラのレンズ、タグの大きさ、取り付け治具まで指定されている。展開側は意図的に軽く作られている。姿勢変更のポリシーは numpy と onnxruntime だけで動き、実行時に PyTorch や mjlab は要らない。ZeroMQ でつながった 3 つのプロセスに分かれている。マーカーからキューブの姿勢を推定するカメラ観測器、ハンドを動かすポリシーループ、そしてポリシーが何が起きていると考えているかを確認するための任意の MuJoCo ミラーだ。

5 月の最初のリリースは初代 Wuji Hand でのキューブの姿勢変更を扱い、著者らによればチェックポイントはシミュレーションの 100 回すべてと実機の 20 回中 17 回で目標に到達し、平均誤差は約 4 度だった。9 月のリリースでは第 2 世代のハンド、50 Hz の姿勢変更版、そしてペン回しが加わった。ペン回しは種類の違う問題だ。目標姿勢に到達するのではなく、記録された参照動作を追従するので、振る舞いは与えるクリップで決まる。5 つのクリップグループがそれぞれ対応するチェックポイントとともに提供されている。

全体が Wuji のハードウェアを前提にしている。ドライバは Wuji 独自の SDK、カメラ部分は Hikrobot の産業用カメラ SDK に合わせて書かれ、モデルも Wuji のハンドを記述したものだ。1 つのハンドファミリー向けのリファレンス実装であり、汎用の器用操作ライブラリではない。

重要な理由

手内での姿勢変更とペン回しは、ロボットの器用さを示す古典的な課題だ。これまでは主に大きな研究室が特注のハンドで披露し、読者が動かせるコードはなかった。ここでは市販の 5 指ハンドのメーカーが、シミュレーションでの学習から実機のハンドでペンを回すポリシーまでの道筋全体を、寛容なライセンスでオープンなシミュレーター上に公開している。器用なハードウェアでの sim-to-real 強化学習の、完全で実行可能な数少ない例であり、他のハンドで同じことをするための手本でもある。

解決する課題

器用なハンドの強化学習ポリシーをシミュレーションから実機に移すには、通常、環境を書き、ドメインランダム化を調整し、知覚の構成と展開用のランタイムを作り、その間のずれを自分で一つずつ見つける必要がある。wuji-mjlab は 2 つのタスクについて、それらがすべて連携して動く状態で学習済みポリシーとともに提供するので、ハンドの所有者は何かを変える前にまず結果を再現できる。

主なポイント

  • MuJoCo 上の mjlab で PPO により学習し、実機のハンドで閉ループ展開
  • Cube Reorient は両世代のハンドで動き、PenSpin は Wuji Hand 2 で参照動作を追従して 20 の指関節を 50 Hz で制御
  • リリースには PyTorch と ONNX のチェックポイント、ペン回しの 40 クリップと 5 つのレシピ、印刷用の治具・キューブ・ペンが含まれる
  • 展開に必要なのは numpy と onnxruntime だけで、ZeroMQ を介したカメラ・ポリシー・任意のビューアのプロセスに分かれる
  • 最初のリリースは初代 Wuji Hand でシミュレーション 100 回中 100 回、実機 20 回中 17 回の目標到達を報告
  • Apache-2.0。Wuji のその他の SDK、ハンドの記述ファイル、シミュレーションのデモは別途公開

対象

  • 実際に動く手内操作ポリシーが欲しい Wuji Hand/Wuji Hand 2 の所有者
  • 器用なハンドの sim-to-real 強化学習を研究する人
  • 移動だけでなく完全な操作タスクの例を探している mjlab ユーザー
  • 手内の姿勢変更や動作追従のポリシーを別のハンドに移植する人

制限事項

  • Wuji のハンド専用:ドライバ、モデル、チェックポイントは商用製品の Wuji Hand と Wuji Hand 2 向けで、右手のみ対応
  • カメラ観測器は Hikrobot の産業用カメラ SDK 向けに書かれており、他のカメラにはコードの変更が必要
  • 学習には Linux x86_64、CUDA 12.8 対応の NVIDIA GPU、そして唯一サポートされるインストーラーである pixi が必要
  • 実機での成功率が公開されているのは初代ハンドでのキューブ姿勢変更だけで、Wuji Hand 2 やペン回しについてはない
  • ペン回しは記録された参照クリップを追従するので、与えられた動作を再現するだけで新しい動作は生み出さない
  • タスクは 2 つだけで、把持、道具の使用、両手での作業はまだない

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。