RoboDojo
可在 Isaac Sim 與真實手臂上執行的操作基準測試
授權條款
MIT
概述
RoboDojo 是通用操作策略的基準測試，把模擬與真實硬體集中在同一處：橫跨五個能力面向的 42 項 Isaac Sim 任務，以及在 Piper X、Piper 與 ARX X5 手臂上的 18 項真實世界任務。讓它真正可用的是 XPolicyLab，它把 40 多種策略統一在單一介面之後，讓同一份策略定義既能在模擬中執行，也能在真實機器人上執行。場景配置以隨機種子控制以確保可重現性，單一 summarize 指令即可把多次執行彙整成排行榜表格。
本目錄已收錄 LIBERO、RLBench、Meta-World、CALVIN 與 SimplerEnv，而它們全都止步於模擬器。RoboDojo 的獨特主張是真實的那一半並非事後補上：三個真實手臂平台上的 18 項任務，與 42 項模擬任務並列，並共用同一個策略介面。策略的模擬分數能否預測其真實分數，正是這個領域最需要回答、卻最少被量測的問題，而一個專為直接回答它而打造的基準測試值得擁有。
實務上，儲存庫把幾個部分分開：模擬器骨幹與管理器；模擬器、場景、機器人與攝影機的環境設定；任務邏輯與 YAML 任務設定；以及作為策略伺服器與整合層的 XPolicyLab。資產（機器人、物件、材質與場景配置）採用下載方式取得，而不是內附在儲存庫中。文件網站被視為權威參考，涵蓋安裝、快速評估、將新策略整合進 XPolicyLab、模擬與真實任務清單、設定與疑難排解，對入門路徑的用心程度超過大多數基準測試。
為何重要
模擬操作基準測試已變得容易飽和又難以信任：LIBERO 上的一個分數，幾乎無法說明某個策略能否在工作台上運作。RoboDojo 把兩半放在同一個介面之下，讓這種比較真的能做，而且已整合 40 多種策略，這正是「本週就能用的基準測試」與「得先把工作移植進去的基準測試」之間的差別。
解決的問題
操作研究的結果在模擬中回報、在硬體上部署，但沒有人能說清楚前者對後者的預測力有多少，因為兩者是用不同的工具量測的。RoboDojo 把它們放在同一個策略介面之後，讓同一個東西能在兩個地方執行。
重點
- 橫跨五個能力面向的 42 項 Isaac Sim 任務，加上在 Piper X、Piper 與 ARX X5 手臂上的 18 項真實世界任務
- XPolicyLab 將 40 多種策略統一在單一介面之後，同一份定義可在模擬與真實硬體上執行
- 以隨機種子控制的場景配置，加上單一指令的 summarize 步驟，可把多次執行彙整成排行榜表格
- 模擬與真實被設計為同一個基準測試的兩半，而不是附帶一個真實示範的模擬器
- 資產採用下載而非內附，讓儲存庫本身保持輕量
- 文件網站是權威參考，涵蓋整合新策略，而不只是執行既有策略
適用對象
- 回報通用操作結果、希望在模擬數字旁附上真實機器人數字的研究團隊
- 比較 VLA 策略、厭倦每篇論文各用各的測試框架的人
- 擁有 Piper、Piper X 或 ARX X5 手臂、有策略要評估的使用者
- 整合新策略、希望它能一次在多項任務上執行的研究人員
限制
- 真實的那一半需要特定硬體（Piper X、Piper 或 ARX X5），因此多數讀者只能執行那 42 項模擬任務
- Isaac Sim 是沉重的相依套件，有自己的 GPU 需求，文件中有一頁專門處理 GPU 記憶體的疑難排解並非沒有原因
- 資產必須另外下載，因此這個基準測試並非自成一體
- 背後的論文（arXiv 2607.04434）是尚未發表於任何會議或期刊的預印本，因此基準測試的設計尚未經過審查
- 排行榜的價值取決於參與程度，而在這個階段尚未得到證明
- XPolicyLab 整合了 40 多種策略，這是一項維護負擔，若專案放慢腳步就會顯現出來