wuji-mjlab
在 Wuji Hand 上訓練並部署手內方塊翻轉與轉筆策略
授權條款
Apache-2.0
概述
wuji-mjlab 是 Wuji Technology 為自家機器手推出的開放訓練與部署程式碼,用於靈巧的手內操作。策略在 mjlab(建立在 MuJoCo 上、可在 GPU 上平行運算的機器人學習框架)中以 PPO 訓練,並搭配攝影機在實體機器手上以閉迴路執行。共提供兩項任務。Cube Reorient 會把掌心朝上握著的方塊轉到任意目標方向並保持住,適用於 Wuji Hand 與 Wuji Hand 2。PenSpin 透過追蹤參考動作,讓 Wuji Hand 2 轉動一支 250 mm 的筆,以 50 Hz 控制 20 個手指關節。2026 年 9 月的版本附有 PyTorch 與 ONNX 格式的預訓練檢查點、40 段轉筆動作片段及其訓練配方,以及 STEP 與 3MF 格式、可列印的安裝治具、方塊與筆。程式碼採用 Apache 2.0 授權。
多數手內操作成果只是一篇論文和一段影片。這個專案則是一條你能端到端執行的可運作流程。訓練、匯出與部署全都在儲存庫中,策略可以下載,實體裝置也規格化到攝影機鏡頭、標籤尺寸與安裝治具。部署端刻意保持輕量。重定向策略只需 numpy 與 onnxruntime 就能執行,執行時不需要 PyTorch 或 mjlab。它分成三個以 ZeroMQ 連接的程序:一個從基準標籤估測方塊姿態的攝影機觀測程序、驅動機器手的策略迴圈,以及一個選用的 MuJoCo 鏡像,用來觀察策略認為正在發生什麼。
5 月的首個版本涵蓋原始 Wuji Hand 上的方塊重定向,作者報告其檢查點在全部 100 次模擬試驗中達成目標,在真實機器手上則是 20 次中達成 17 次,平均誤差約 4 度。9 月的版本加入了第二代機器手、50 Hz 的重定向變體,以及轉筆;轉筆是另一種類型的問題。策略不是要到達目標姿態,而是追蹤錄製好的參考動作,因此行為是由所提供的片段塑造的。共提供五組片段,每組都有對應的檢查點。
整個專案都以 Wuji 的硬體為前提。驅動程式是 Wuji 自己的 SDK,攝影機路徑是針對 Hikrobot 的工業攝影機 SDK 撰寫的,模型描述的也是 Wuji 的機器手。它是針對單一機器手系列的參考實作,而不是通用的靈巧操作函式庫。
為何重要
手內重定向與轉筆是機器人靈巧度的經典基準。過去這些多半由大型實驗室在客製機器手上展示,沒有讀者能執行的程式碼。在這裡,一款市售五指機器手的製造商以寬鬆授權、在開放的模擬器上,公開了完整的路徑,從模擬訓練一直到讓策略在真實機器手上轉筆。這是在靈巧硬體上進行強化學習模擬到現實(sim-to-real)的少見、完整且可執行的範例,也是在其他機器手上做同樣事情的範本。
解決的問題
要把靈巧機器手的強化學習策略從模擬搬到真實硬體上,通常意味著要自己撰寫環境、調整領域隨機化、搭建感知裝置與部署執行環境,並自己找出它們之間的每一個落差。wuji-mjlab 為兩項任務提供所有這些能協同運作的元件,並附有預訓練策略,讓機器手的擁有者在修改任何東西之前,就能先重現結果。
重點
- 在 MuJoCo 上的 mjlab 中進行 PPO 訓練,並在實體機器手上以閉迴路部署
- Cube Reorient 可在兩代機器手上執行;PenSpin 在 Wuji Hand 2 上追蹤參考動作,以 50 Hz 控制 20 個手指關節
- 版本附有 PyTorch 與 ONNX 檢查點、40 段轉筆動作片段與五套配方,以及可列印的治具、方塊與筆
- 部署只需要 numpy 與 onnxruntime,分成透過 ZeroMQ 連接的攝影機、策略與選用檢視器程序
- 首個版本報告在原始 Wuji Hand 上,100 次模擬試驗中 100 次、20 次真實試驗中 17 次達成目標
- 採用 Apache-2.0;Wuji 其餘的 SDK、機器手描述檔與模擬展示則另外發布
適用對象
- 想要可運作之手內操作策略的 Wuji Hand 或 Wuji Hand 2 擁有者
- 研究靈巧機器手之模擬到現實(sim-to-real)強化學習的研究人員
- 想找完整操作任務、而不只是行走運動範例的 mjlab 使用者
- 任何要把手內重定向或動作追蹤策略移植到其他機器手的人
限制
- 專為 Wuji 的機器手打造:驅動程式、模型與檢查點針對 Wuji Hand 與 Wuji Hand 2,兩者都是商用產品,且只支援右手
- 攝影機觀測程序是針對 Hikrobot 的工業攝影機 SDK 撰寫的;使用其他攝影機都需要修改程式碼
- 訓練需要 Linux x86_64、支援 CUDA 12.8 的 NVIDIA GPU,以及 pixi 套件管理器,這是唯一受支援的安裝工具
- 真實機器手的成功率數字只針對第一代機器手的方塊重定向發布;Wuji Hand 2 與轉筆都沒有提供數字
- 轉筆是依照錄製好的參考片段,因此只會重現所提供的動作,而不會創造新的動作
- 只有兩項任務:目前還沒有抓取、工具使用或雙手作業