PHC
以物理為基礎、可從失敗狀態復原的持續式人形控制器,適用於即時虛擬化身
授權條款
BSD-3-Clause
概述
PHC(Perpetual Humanoid Control)是以物理為基礎的人形機器人控制器,能為即時模擬虛擬化身與人形機器人實現高擬真度的動作模仿與容錯行為。它發表於 ICCV 2023,能夠持續不斷地控制模擬人形角色而不需要重置,即使輸入含有雜訊或發生意外跌倒也是如此。
其關鍵創新是 Progressive Multiplicative Control Policy(PMCP),它會動態配置新的網路容量,以學習難度逐步提高的動作序列。這讓它能有效擴展到完整的 AMASS 動作資料庫(11,313 個序列),成功率最高可達 100%,同時加入失敗狀態復原等新能力,而不會發生災難性遺忘。
PHC 支援多種控制介面,包括透過網路攝影機以影片控制虛擬化身、透過整合 Motion Diffusion Model 以自然語言下指令,以及 VR 控制器追蹤。它可用於 SMPL、SMPLX(含手指控制)、Unitree H1 與 Unitree G1 等人形形態。
系統在 NVIDIA IsaacGym 上執行,並包含 IsaacLab 整合。PHC 已成為 PULSE 與 ASAP 等人形機器人控制研究專案所使用的基礎元件。
由 Carnegie Mellon University 與 NVIDIA 合作開發。
PHC(Perpetual Humanoid Control)是卡內基美隆大學與 NVIDIA 合作開發、以物理為基礎的人形機器人控制器,發表於 ICCV 2023。它解決了人形機器人模擬中的一個根本問題:傳統控制器遇到意外擾動或困難的動作序列時會永久失效,需要手動重置。PHC 則實現了持續控制:它能從跌倒中恢復,無需重置即可無限期持續運作。
其關鍵創新是漸進式乘法控制策略(PMCP),它逐步分配新的網路容量來處理愈來愈困難的動作。這使得以完整的 AMASS 動作資料庫(11,313 段序列)進行高效訓練成為可能,成功率最高可達 100%,同時加入恢復能力,又不會對先前學會的技能產生災難性遺忘。當控制器跌倒時,它能重新站起並繼續追蹤目標動作。
PHC 支援多種控制介面,包括透過網路攝影機以影片控制虛擬化身、透過整合 Motion Diffusion Model 以自然語言下指令,以及用於沉浸式應用的 VR 控制器追蹤。它適用於 SMPL、SMPLX(具手指層級的控制),以及包括 Unitree H1 與 G1 在內的人形機器人形態,並整合 IsaacLab 以支援現代模擬工作流程。
PHC 已成為人形機器人控制研究生態系的基礎元件,PULSE 與 ASAP 等專案都建立在其持續控制能力之上。它能在任意擾動下維持穩定控制,因此在無法手動重置的即時應用中相當實用。
為何重要
PHC 解決了人形模擬中的一個根本問題:控制器在意外擾動或雜訊輸入後永久失效。它具備持續控制能力與自動失敗狀態復原,因此可實際用於 VR 虛擬化身與影片驅動的人形控制等即時應用。
解決的問題
以物理為基礎的人形控制器在跌倒或意外擾動後會崩潰,需要手動重置,因此不適合即時應用
重點
- PHC+ 模型在 11,313 個 AMASS 動作序列上達到 100% 成功率
- Progressive Multiplicative Control Policy 讓模型能擴展而不發生災難性遺忘
- 支援以影片、語言與 VR 介面進行人形控制
- 可用於 SMPL、SMPLX、Unitree H1 與 Unitree G1 形態
適用對象
- 人形控制研究人員
- VR 與虛擬化身開發者
- 物理模擬研究人員
- 強化學習實務工作者
限制
- 需要支援 IsaacGym 的 NVIDIA GPU
- 訓練需要 AMASS 動作捕捉資料集(需取得授權)
- 商業使用需要 SMPL/SMPLX 人體模型授權
- 設定步驟多且複雜,相依套件眾多