PAC-MAN
機体搭載の深度情報だけで投球をよける Unitree G1 ヒューマノイド
ライセンス
MIT
コードにはMITが適用されます。2026-09-10に確認:Unitree G1のモデルファイルとリターゲットされたAMPモーションクリップは、それぞれのアップストリームのソースから派生しており、その条件に従います。クリップはNVIDIA SEEDモーションキャプチャデータセットからリターゲットされ、研究目的でここに再配布されているため、モーションデータの商用利用には元のデータセットのライセンスが適用されます。
概要
PAC-MAN は、頭部に取り付けた深度カメラだけを頼りに投げられたボールをよける Unitree G1 ヒューマノイドのための、学習パイプライン・ベンチマーク・ハードウェア展開スタックです。安全性は実行時フィルタで強制するのではなく、全身の各リンクに対する制御バリア関数の報酬として学習時に形づくられ、リターゲットした人間の回避動作による敵対的モーションプライアが、生じる反射動作を人間らしく整えます。展開される方策が脅威について知りうるのは、疎な 16×9 のフレームスタックにプールされたボールのみのマスク深度だけ——これは実機上で EfficientTAM セグメンタが生成する表現そのものであり、sim-to-real のギャップは知覚層に収束します。転移はゼロショットで成立し、手投げ 20 球のうち 19 球を回避、転倒はありませんでした。
バリア構造には二つの形があり、リポジトリはその違いを実装の詳細ではなく知見として扱っています。Link-CBF はロボットの各リンクにクリアランスバリアを一つずつ置き、最も制約の厳しいリンクにおけるバリア条件の違反を罰します。これは学習報酬を通してのみ作用し、オンラインで強制するものが何もない——だからこそチェックポイントをそのまま展開できます。Joint-CBF は目標関節速度を安全な半空間に射影するもので、ボール状態が正確なときはより強力ですが、学習時の誘導としてのみ用いると固定カメラ下では劣化し、ボール追従ジンバルか特権的な実行時射影によって回復します。その特権フィルタはシミュレーション上の上限であって、ハードウェア構成ではありません。
学習は MuJoCo Warp 上の mjlab で走り、AMP の実装は AMP_mjlab から、PPO は rsl_rl から取り入れています。論文の実験表の各セルに対応するランチャーが同梱されているため、アブレーション表をセル単位で再現できます。deploy/ は Python 3.8 の独立した uv プロジェクトで、ローカル UDP 上で三つのプロセスを動かします。EfficientTAM によるボールセグメンテーションを行う ZED カメラノード、歩行と回避を自動で切り替える ONNX 方策、そして Unitree DDS のハードウェアブリッジです。展開された二つのチェックポイントはリポジトリにコミットされており、CBF 項・全方位投球・ジンバル照準を対象とした pytest スイートもあります。
重要な理由
ヒューマノイドの安全層はたいてい特権情報つきで実演され、ロボット自身が危険を見なければならなくなった瞬間に、その保証を静かに失います。PAC-MAN はバリア構造を学習報酬に組み込み、方策には搭載カメラが生成できるものしか与えず、その結果を実機で公開しました。ヒューマノイドの強化学習の公開としても異例に完結しています。多くは学習コードで止まりますが、これはベンチマーク、実際に展開された ONNX チェックポイント、そしてそれを動かしたカメラと DDS ブリッジまで含んでいます。
解決する課題
ヒューマノイドの全身安全性は、危険物の位置をコントローラに手渡してしまえば容易に実演できますが、ロボット自身が知覚しなければならなくなると保つのが難しくなります。PAC-MAN は、ロボットが実際に得ることになる劣化した観測に対して学習することでその隔たりを埋め、ベンチマークが測るものとハードウェアが走らせるものを一致させます。
主なポイント
- Unitree G1 にゼロショットで展開:手投げ 20 球のうち 19 球を回避、転倒なし、知覚はすべて機体上で完結
- 方策が脅威について得る唯一の入力は、疎な 16×9 フレームスタックにプールされたボールのみのマスク深度で、実機で EfficientTAM が出すものと一致する
- Link-CBF は学習報酬だけで安全性を形づくり、実行時に強制するものがない。だからこそチェックポイントは微調整なしで転移する
- ボール状態が正確なときは Joint-CBF のほうが強いバリアだが、固定カメラでは劣化する。追従ジンバルか特権フィルタがそれを取り戻す
- しゃがみ・横移動・跳躍はバリア報酬とモーションプライアから創発したもので、回避動作は一つもスクリプト化されていない
- deploy/ は完結したハードウェアスタック——ZED ノード、EfficientTAM セグメンテーション、歩行/回避切替つき ONNX 方策、Unitree DDS ブリッジ——で、展開済みチェックポイントもコミット済み
- 方策はセグメンテーションでマスクされた深度しか見ないため、同じ重みが学習に一度も出てこなかったボールもよける
対象
- ヒューマノイドの全身制御と安全強化学習の研究者
- 完結した sim-to-real の道筋を探している Unitree G1 のユーザ
- 報酬設計の参照実装を求める制御バリア関数の研究者
- 深度のみ・知覚をループに含む方策を研究する実務者
制限事項
- 脅威モデルは一種類のみ——立っているロボットに投げられるボール。一般的な障害物回避や雑然とした環境の移動は扱っていない
- +filter 構成は特権的なボール状態を必要とするシミュレーション専用の上限であり、ハードウェアで走らせられるものではない
- 学習には Linux x86_64 と NVIDIA GPU が必要で、ハードウェア経路にはさらに Unitree G1、ZED カメラ、ビルド済みの Unitree SDK が要る
- AMP プライアが依拠するリターゲット済みモーションは約 100 秒分で、主張される回避行動の幅に対しては小さなコーパス
- モーションクリップは NVIDIA SEED モーションキャプチャデータセットからリターゲットされており、同データセット独自の条項に従う。リポジトリは研究目的でのみ再配布している
- 展開時の依存のうち二つは著者自身のフォークがサブモジュールとして固定されており(RealtimeEfficientTAM、unitree_sdk2_wrapper)、ハードウェア経路は個人管理のリポジトリに依存する
- リポジトリはパッケージとしてインストールせず PYTHONPATH でソースから実行する形なので、他のコードから依存するのが扱いにくい