Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

DexSuite

靈巧操作模擬框架:任何任務搭配任何手臂與機器手

授權條款

  • code: MIT
  • datasets (Hugging Face, dexsuite/*): Apache 2.0

分開授權。DexSuite 程式碼採用 MIT。dexsuite/models 中的機器人、機器手與物件模型各自保有其授權,列於 THIRD_PARTY_LICENSES.md:大多數是來自 MuJoCo Menagerie 與 dex-urdf 的 Apache-2.0、BSD 與 MIT,其中 Schunk SVH 機器手與藍色噴霧瓶採用 GPL-3.0,YCB 物件採用 CC BY 4.0,吐司採用 CC BY-SA 4.0。部分模型並非開放給所有用途:PartNet-Mobility 物件以及 Artiverse 的保險箱、窗戶、珠寶盒與鉗子僅限研究使用,而 PSYONIC Ability 與 Inspire 機器手模型未聲明授權。Hugging Face 上的資料集採用 Apache-2.0。查核日期:2026 年 11 月 4 日。

概述

DexSuite 是一套採用 MIT 授權、以 Genesis 模擬器打造的靈巧操作模擬框架,由 McGill University 與 Mila 的研究人員開發。任務只需撰寫一次,即可透過支援批次環境的 Gymnasium 風格 API,搭配其 10 款手臂與 11 款末端執行器中的任何一款執行,從平行夾爪到具有 24 個關節的 Shadow Hand 皆可。它還內建遠端操作(鍵盤、SpaceMouse、HTC Vive 與 Manus 手套)、UMI 夾爪上的觸覺墊、雙軌基準測試,以及以 LeRobot 格式發布的 4,700 個已錄製示範片段。

DexSuite 以單一 Python 套件涵蓋靈巧操作的完整工作流程:設定機器人、收集示範資料與評估策略。它在 Genesis 上執行,大部分機器人與機器手模型來自 MuJoCo Menagerie。

ds.make(task, manipulator=…, gripper=…) 可從任何手臂與末端執行器組合建立環境。手臂從 Franka Panda、Kinova Gen3、KUKA iiwa、UR5e 到 SO-100,末端執行器則從 Robotiq 2F-85 到 Allegro、LEAP、Inspire、Ability、Shadow 與 Sharpa 機器手;浮動腕部則可單獨驅動一隻機器手。每項任務對每種形態都保持相同的重設、觀測與成功判定,因此夾爪與機器手可以在相同條件下比較。環境可在單一模擬器中批次執行(n_envs=64),回傳本體感知、任務狀態以及 RGB、深度與分割攝影機影像,並接受末端執行器姿態、關節位置、速度或扭矩指令。UMI 夾爪每根手指配有 12 乘 32 的觸覺感測單元陣列。

基準測試分為兩軌:五項夾爪與機器手都能完成的任務,以及靈巧任務,例如抓住把手提起平底鍋、瞄準電鑽、將麵包立進烤麵包機,以及噴塗模板。在全部 31 項單臂與雙臂任務中,團隊為 16 組基準測試任務與形態的組合錄製了 4,700 個片段,來源包括人類遠端操作、腳本專家與機器生成,並以 LeRobot 格式發布於 Hugging Face,另提供供 robomimic 使用的 HDF5 匯出。儲存庫包含 robomimic 訓練與評估腳本,其中也有一個 ACT 策略。

為何重要

靈巧機器手是機器人學習研究的重要發展方向,但大多數模擬框架不是以平行夾爪為主,就是把每項任務綁定在單一機器人上,很少能在同一處串連遠端操作、資料錄製與評估。DexSuite 讓研究人員只需一個參數就能把夾爪換成靈巧機器手,同時保持任務、觀測與成功判定不變,使夾爪與機器手的比較以及跨形態資料收集變得簡單直接。它隨附已錄製好的資料,採用社群用於訓練的 LeRobot 格式,並提供文件與 PyPI 套件(GitHub)。

解決的問題

建立靈巧操作實驗通常意味著要把機器手模型接到手臂上、撰寫控制器、為手套或追蹤器建立遠端操作路徑、以可用格式錄製資料,接著再建立只能用於那一台機器人的任務。DexSuite 將這些元件整合為一個框架,任務定義與手臂和機器手無關,因此同一個實驗可以在不同形態上執行。

重點

  • 31 項任務中的任何一項都能搭配 10 款手臂與 11 款末端執行器中的任何一款執行,從平行夾爪到具有 24 個關節的 Shadow Hand
  • 以 Genesis 打造,提供 Gymnasium 風格 API、批次環境,以及 RGB、深度與分割攝影機
  • 可透過鍵盤、SpaceMouse、HTC Vive 或 Manus 手套進行遠端操作,並重定向到所安裝的機器手
  • 雙軌基準測試在相同任務上比較夾爪與機器手,另有電鑽、平底鍋與噴霧罐等靈巧任務
  • Hugging Face 上有 4,700 個 LeRobot 格式的示範片段(Apache-2.0),並附 robomimic 訓練腳本

適用對象

  • 從事靈巧操作與多指機器手研究的研究人員
  • 比較夾爪與機器手,或收集跨形態示範資料的機器人學習團隊
  • 使用手套、VR 追蹤器或 SpaceMouse 進行遠端操作,並需要 LeRobot 格式資料的團隊
  • 想要現成靈巧任務、不必先建置機器人環境的學生

限制

  • 僅限模擬,因此在此訓練的策略仍需面對與真實硬體之間的落差
  • 實際使用需要 CUDA GPU,且在一台機器上建立第一個環境時,約需一分鐘編譯 Genesis 核心
  • 於 2026 年 10 月下旬發布,論文(arXiv 2610.37799)仍在審查中
  • 並非每款手臂都能搭配每款末端執行器;相容性表格列出了可用的組合
  • 部分隨附的物件模型(PartNet-Mobility)僅限非商業研究與教育用途,其他模型則各自保有其授權

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。