orcs
在模擬的 G1 上以 LoRA 將 NVIDIA 的 SONIC 人形機器人控制器調適到新任務
授權條款
- code and documentation: BSD 3-Clause
- EgoHTR data: CC BY 4.0
混合授權。orcs 的程式碼與文件採用 BSD-3-Clause。Hugging Face 上已釋出的檢查點(lkrajan/orcs)採用 NVIDIA Open Model License,因為它們建構於 NVIDIA 的 SONIC 權重之上。只有 SMPL 任務才需要的 SMPL-X 人體模型檔案並未包含在內,由 Max Planck Institute 於註冊後另行授權。EgoHTR 資料採用 CC BY 4.0。查核日期:2026-10-30。
概述
orcs 是人形機器人控制器的訓練工具組,由 University of Southern California 的 Dynamic Robotics and Control Laboratory(DRCL)的 Lokesh Krishna 開發。它不為每項任務訓練新的控制器,而是採用 NVIDIA 為 Unitree G1 打造的 SONIC 全身控制器,將其凍結,只用強化學習在上方訓練一個小型低秩(LoRA)轉接器。它內建的任務包括利用高度掃描走過路緣與崎嶇地形、閃避丟來的球,以及在移動中搬運物體。它也能把人類動作紀錄重定向到機器人上;2026 年 10 月 29 日的 v0.1.1 版本加入了取自真實人類紀錄的攀岩與跨越窗戶,以及一個審閱工具:你可以在個別影格上留下註記,再由程式設計代理修改動作。訓練在 MuJoCo Warp 上的 mjlab 中執行。程式碼以 BSD-3-Clause 授權放在 GitHub 上,訓練好的檢查點則放在 Hugging Face 上。orcs 是為作者的 ViBe 論文而寫。
每項 orcs 任務都遵循同一個模式。已能在 Unitree G1 上追蹤人類動作的 SONIC 控制器保持凍結。在它上面接上一個初始化為零的 LoRA 轉接器,因此訓練之前,策略的行為與 SONIC 完全相同,接著 PPO 只調整這個轉接器。轉接器會接收基礎控制器從未取得的任務資訊:感知式行走運動(PerLoco)用的地形高度掃描、Dodge 用的球體狀態,以及全物體移動操作(UOLM)用的物體狀態。評論家(critic)則能看到完整的模擬器狀態。
這些是特權策略,也稱為「oracle」策略:它們直接從模擬器讀取真值,而真實機器人做不到這一點。這是刻意的設計。專案自己的說明指出,它先訓練 oracle,並把將其蒸餾成仰賴機上感測器的策略留作下一步,而非已提供的功能。這裡的策略都只在模擬中運作。
參考動作有三個來源:NVIDIA GRAIL 的地形與動作片段、OmniRetarget 的地形與動作,以及 v0.1.1 新增、來自 EgoHTR 資料集的人類紀錄,內容是人們穿越真實地形。SMPL 格式的人類動作分兩個階段重定向(指南):快速的運動學處理先給出起始姿態,再透過訓練轉接器,把它變成機器人真正能執行的動作。EgoHTR 片段另有代理輔助的流程(指南):一個以 Viser 打造的瀏覽器檢視器會在掃描的地形上以 G1 播放片段,你可以在任何影格上儲存註記,接著由遵循儲存庫指示的程式設計代理透過 UMR 修改動作;之後你再比較新版本與已接受的版本並做決定。
安裝在 Python 3.11 上使用 uv 與 Git LFS。精簡安裝會略過 SMPL 任務;完整安裝則需要你註冊後自行下載的人體模型檔案(感知式行走運動指南)。play 指令可執行五個已釋出檢查點中的任何一個,第一次使用時會下載並驗證,也可以執行未訓練的轉接器,確認它能重現 SONIC。train 指令則會以數千個平行的模擬機器人訓練某項任務的轉接器。
為何重要
像 SONIC 這樣的大型動作追蹤控制器能讓人形機器人像人一樣移動,但它們看不見周遭環境,重新訓練的成本也很高。orcs 展示了一種一次增加一項技能的低成本做法:基礎模型保持不動,只為任務訓練一個小型轉接器,從而保留基礎模型自然的動作。ViBe 論文正是以同樣的做法,改用攝影機取代真值,搬到真實的 G1 上。它是附有已釋出檢查點的開放程式碼,適用許多實驗室都擁有的機器人,而代理輔助的審閱流程則是用程式設計代理清理重定向動作資料的早期實用範例。
解決的問題
要把通用的人形機器人控制器變成能處理特定任務的控制器,例如踏上它能感知到的路緣,通常意味著訓練新的策略,並失去基礎模型所學到的類人動作。orcs 改為調適既有的控制器,並提供重定向工具,把在真實地形上錄製的人類動作轉換成 G1 的訓練參考。
重點
- 以 LoRA 轉接器調適 NVIDIA 凍結的 SONIC 全身控制器;PPO 只訓練轉接器
- 在模擬的 Unitree G1 上提供跨越路緣、岩石與窗戶的感知式行走運動、躲避球,以及全物體移動操作
- 人類 SMPL 動作的兩階段重定向,另有在瀏覽器檢視器中審閱 EgoHTR 片段的代理輔助流程
- 策略屬於特權策略:使用模擬器的真值狀態,目前尚非用於在真實機器人上執行
- 程式碼採用 BSD-3-Clause;五個已釋出的檢查點因建構於 SONIC 之上,採用 NVIDIA Open Model License
適用對象
- 將大型人形機器人動作追蹤控制器調適到新任務的研究人員
- 以 SONIC 或 mjlab 為基礎開發的 Unitree G1 使用者與實驗室
- 從事將人類動作捕捉在真實地形上重定向到人形機器人的人
- 訓練特權教師策略以供日後蒸餾的機器人學習研究人員
限制
- 僅限模擬:策略讀取的是真值狀態,將其蒸餾成可部署的學生策略列在路線圖上,尚未釋出
- 專為 Unitree G1 打造並綁定 SONIC 檢查點;其他機器人需要不同的基礎控制器
- 已釋出的檢查點採用 NVIDIA Open Model License,而非 BSD-3-Clause,且 SMPL 任務需要另行授權的 SMPL-X 人體模型檔案
- 需要 NVIDIA GPU 以及固定版本的 mjlab、MuJoCo 與 MuJoCo Warp;相依套件透過 GitHub SSH 取得,因此需要設有 SSH 金鑰的 GitHub 帳號
- 處於早期、由單一作者撰寫的研究程式碼,版本為 0.1;代理輔助重定向只支援 G1 上的 EgoHTR 片段