PAC-MAN
僅靠機上深度感知就能閃避丟來的球的 Unitree G1
授權條款
MIT
程式碼採用 MIT。查核日期:2026-09-10:Unitree G1 模型檔案與經動作重定向的 AMP 動作片段衍生自其原專案來源,並沿用其條款;這些片段是從 NVIDIA SEED 動作捕捉資料集重定向而來,在此僅為研究用途重新散布,因此動作資料的任何商業使用,都受來源資料集的授權規範。
概述
PAC-MAN 是一套訓練流程、評測基準與硬體部署軟體堆疊,讓 Unitree G1 人形機器人僅憑頭戴式深度攝影機閃避丟來的球。安全性是在訓練時透過涵蓋每一個身體連桿的控制障壁函數獎勵來塑造,而非由執行期的過濾器強制執行;以經過動作重定向的人類閃避動作建立的對抗式動作先驗,則讓產生的反射動作保持像人一樣。部署後的策略只能透過「僅含球體的遮罩深度」看見威脅,這些深度被池化為稀疏的 16×9 影格堆疊,正是真實機器人上 EfficientTAM 分割器所產生的表示,因此模擬到現實(sim-to-real)的落差只剩下感知層。它能零樣本轉移:20 次手拋中閃避 19 次,且沒有跌倒。
障壁結構有兩種形式,而儲存庫把兩者的差異當成研究發現,而非實作細節。Link-CBF 在機器人的每個連桿上各設一個間隙障壁,並在約束最緊的連桿上懲罰違反障壁條件的情況;它只透過訓練獎勵發揮作用,線上沒有任何需要強制執行的東西,這正是檢查點能夠原樣部署的原因。Joint-CBF 將期望的關節速度投影到安全半空間上,在球的狀態準確時效果更強,但在固定攝影機下若僅作為訓練引導使用就會退化,需要搭配追球雲台或特權執行期投影才能恢復。這個特權過濾器是模擬中的上限,而非硬體配置。
訓練在 MuJoCo Warp 上的 mjlab 中執行,AMP 實作改編自 AMP_mjlab,PPO 則來自 rsl_rl;儲存庫為論文中的每個實驗格各提供一個啟動器,因此消融表可以逐格重現。deploy/ 目錄是一個獨立、自成一體的 Python 3.8 uv 專案,透過 localhost UDP 執行三個行程:一個以 EfficientTAM 進行球體分割的 ZED 攝影機節點、一個具備自動行走到閃避模式切換的 ONNX 閃避策略,以及一個 Unitree DDS 硬體橋接器。兩個已部署的檢查點都已提交到儲存庫中,另有一套 pytest 測試涵蓋 CBF 項、全向拋擲與雲台瞄準。
為何重要
人形機器人的安全層通常以特權狀態示範,一旦機器人必須自己看見危險,其保證就悄悄失效。PAC-MAN 把障壁結構放進訓練獎勵中,只給策略機上攝影機能產生的資訊,並公布在硬體上的結果。以人形機器人強化學習的釋出而言,它也異常完整:多數釋出只到訓練程式碼為止,而這一套包含了評測基準、實際部署過的 ONNX 檢查點,以及執行它們的攝影機與 DDS 橋接器。
解決的問題
當危險的位置直接交給控制器時,人形機器人的全身安全很容易示範;但當機器人必須自行感知時,就很難維持。PAC-MAN 以機器人實際會取得的劣化觀測進行訓練,彌補了這個落差,因此評測基準量測的,正是硬體實際執行的內容。
重點
- 零樣本部署於 Unitree G1:20 次手拋中閃避 19 次、沒有跌倒,感知完全在機上執行
- 策略對威脅的唯一視野是僅含球體的遮罩深度,池化為稀疏的 16×9 影格堆疊,與 EfficientTAM 在機器人上產生的結果一致
- Link-CBF 只透過訓練獎勵塑造安全性,執行期無需強制執行任何東西,這正是檢查點不必微調就能轉移的原因
- 在球的狀態準確時,Joint-CBF 是更強的障壁,但在固定攝影機下會退化;追蹤雲台或特權過濾器可使其恢復
- 蹲閃、側步與跳躍都是從障壁獎勵與動作先驗中自然湧現,沒有任何閃避行為是預先編寫的
- deploy/ 是完整的硬體軟體堆疊:ZED 節點、EfficientTAM 分割、具行走到閃避切換的 ONNX 策略、Unitree DDS 橋接器,並已提交部署過的檢查點
- 由於策略只看見經分割遮罩的深度,同一組權重也能閃避訓練中從未出現過的球
適用對象
- 人形機器人全身控制與安全強化學習研究人員
- 尋找完整模擬到現實(sim-to-real)部署路徑的 Unitree G1 擁有者
- 需要獎勵塑形參考實作的控制障壁函數研究人員
- 研究僅用深度、感知在迴路中之策略的實務工作者
限制
- 只有一種威脅模型:朝站立機器人丟擲的球。這裡完全不涵蓋一般避障或在雜亂場景中導航
- +filter 配置需要特權的球體狀態,是僅限模擬的上限,無法在硬體上執行
- 訓練需要 Linux x86_64 與 NVIDIA GPU;硬體路徑另外需要 Unitree G1、ZED 攝影機與編譯好的 Unitree SDK
- AMP 先驗僅建立在大約 100 秒經動作重定向的動作資料上,對於所宣稱的閃避行為範圍而言,這個語料庫偏小
- 動作片段是從 NVIDIA SEED 動作捕捉資料集重定向而來,該資料集有其自身條款;儲存庫僅為研究用途重新散布這些片段
- 兩個部署相依套件是作者自己的分支,以子模組形式鎖定(RealtimeEfficientTAM、unitree_sdk2_wrapper),因此硬體路徑仰賴個人維護的儲存庫
- 儲存庫透過 PYTHONPATH 從原始碼執行,而非以套件形式安裝,讓其他程式碼難以將其作為相依項目