DexSuite
靈巧操作模擬框架:任何任務搭配任何手臂與機器手
授權條款
- code: MIT
- datasets (Hugging Face, dexsuite/*): Apache 2.0
分開授權。DexSuite 程式碼採用 MIT。dexsuite/models 中的機器人、機器手與物件模型各自保有其授權,列於 THIRD_PARTY_LICENSES.md:大多數是來自 MuJoCo Menagerie 與 dex-urdf 的 Apache-2.0、BSD 與 MIT,其中 Schunk SVH 機器手與藍色噴霧瓶採用 GPL-3.0,YCB 物件採用 CC BY 4.0,吐司採用 CC BY-SA 4.0。部分模型並非開放給所有用途:PartNet-Mobility 物件以及 Artiverse 的保險箱、窗戶、珠寶盒與鉗子僅限研究使用,而 PSYONIC Ability 與 Inspire 機器手模型未聲明授權。Hugging Face 上的資料集採用 Apache-2.0。查核日期:2026 年 11 月 4 日。
概述
DexSuite 是一套採用 MIT 授權、以 Genesis 模擬器打造的靈巧操作模擬框架,由 McGill University 與 Mila 的研究人員開發。任務只需撰寫一次,即可透過支援批次環境的 Gymnasium 風格 API,搭配其 10 款手臂與 11 款末端執行器中的任何一款執行,從平行夾爪到具有 24 個關節的 Shadow Hand 皆可。它還內建遠端操作(鍵盤、SpaceMouse、HTC Vive 與 Manus 手套)、UMI 夾爪上的觸覺墊、雙軌基準測試,以及以 LeRobot 格式發布的 4,700 個已錄製示範片段。
DexSuite 以單一 Python 套件涵蓋靈巧操作的完整工作流程:設定機器人、收集示範資料與評估策略。它在 Genesis 上執行,大部分機器人與機器手模型來自 MuJoCo Menagerie。
ds.make(task, manipulator=…, gripper=…) 可從任何手臂與末端執行器組合建立環境。手臂從 Franka Panda、Kinova Gen3、KUKA iiwa、UR5e 到 SO-100,末端執行器則從 Robotiq 2F-85 到 Allegro、LEAP、Inspire、Ability、Shadow 與 Sharpa 機器手;浮動腕部則可單獨驅動一隻機器手。每項任務對每種形態都保持相同的重設、觀測與成功判定,因此夾爪與機器手可以在相同條件下比較。環境可在單一模擬器中批次執行(n_envs=64),回傳本體感知、任務狀態以及 RGB、深度與分割攝影機影像,並接受末端執行器姿態、關節位置、速度或扭矩指令。UMI 夾爪每根手指配有 12 乘 32 的觸覺感測單元陣列。
基準測試分為兩軌:五項夾爪與機器手都能完成的任務,以及靈巧任務,例如抓住把手提起平底鍋、瞄準電鑽、將麵包立進烤麵包機,以及噴塗模板。在全部 31 項單臂與雙臂任務中,團隊為 16 組基準測試任務與形態的組合錄製了 4,700 個片段,來源包括人類遠端操作、腳本專家與機器生成,並以 LeRobot 格式發布於 Hugging Face,另提供供 robomimic 使用的 HDF5 匯出。儲存庫包含 robomimic 訓練與評估腳本,其中也有一個 ACT 策略。
為何重要
靈巧機器手是機器人學習研究的重要發展方向,但大多數模擬框架不是以平行夾爪為主,就是把每項任務綁定在單一機器人上,很少能在同一處串連遠端操作、資料錄製與評估。DexSuite 讓研究人員只需一個參數就能把夾爪換成靈巧機器手,同時保持任務、觀測與成功判定不變,使夾爪與機器手的比較以及跨形態資料收集變得簡單直接。它隨附已錄製好的資料,採用社群用於訓練的 LeRobot 格式,並提供文件與 PyPI 套件(GitHub)。
解決的問題
建立靈巧操作實驗通常意味著要把機器手模型接到手臂上、撰寫控制器、為手套或追蹤器建立遠端操作路徑、以可用格式錄製資料,接著再建立只能用於那一台機器人的任務。DexSuite 將這些元件整合為一個框架,任務定義與手臂和機器手無關,因此同一個實驗可以在不同形態上執行。
重點
- 31 項任務中的任何一項都能搭配 10 款手臂與 11 款末端執行器中的任何一款執行,從平行夾爪到具有 24 個關節的 Shadow Hand
- 以 Genesis 打造,提供 Gymnasium 風格 API、批次環境,以及 RGB、深度與分割攝影機
- 可透過鍵盤、SpaceMouse、HTC Vive 或 Manus 手套進行遠端操作,並重定向到所安裝的機器手
- 雙軌基準測試在相同任務上比較夾爪與機器手,另有電鑽、平底鍋與噴霧罐等靈巧任務
- Hugging Face 上有 4,700 個 LeRobot 格式的示範片段(Apache-2.0),並附 robomimic 訓練腳本
適用對象
- 從事靈巧操作與多指機器手研究的研究人員
- 比較夾爪與機器手,或收集跨形態示範資料的機器人學習團隊
- 使用手套、VR 追蹤器或 SpaceMouse 進行遠端操作,並需要 LeRobot 格式資料的團隊
- 想要現成靈巧任務、不必先建置機器人環境的學生
限制
- 僅限模擬,因此在此訓練的策略仍需面對與真實硬體之間的落差
- 實際使用需要 CUDA GPU,且在一台機器上建立第一個環境時,約需一分鐘編譯 Genesis 核心
- 於 2026 年 10 月下旬發布,論文(arXiv 2610.37799)仍在審查中
- 並非每款手臂都能搭配每款末端執行器;相容性表格列出了可用的組合
- 部分隨附的物件模型(PartNet-Mobility)僅限非商業研究與教育用途,其他模型則各自保有其授權