RoboVerse
將 11 個機器人模擬器整合在單一 API 之下的統一元平台。
授權條款
Apache-2.0
概述
RoboVerse 是一個統一的平台、資料集與評測基準,用於可擴展且具泛化能力的機器人學習。它提供 MetaSim:一個不綁定模擬器的抽象層,將 11 個模擬器後端(包括 MuJoCo、Isaac Lab、PyBullet、SAPIEN、Genesis、CoppeliaSim)包裝在單一 API 之後。內含預先設定好的機器人、276 個任務類別、5,500 個以上的物體資產,以及來自 18 個既有評測基準(RLBench、ManiSkill、LIBERO、Meta-World、robosuite)的 510,000 條以上軌跡。整合了模仿學習(ACT、擴散策略、VLA)與強化學習(PPO、TD3、SAC)的訓練流程。
RoboVerse 是一個全面的開源框架,將機器人學習在各模擬平台、資料集與評測基準之間統一起來。它由來自 UC Berkeley、北京大學、USC、Stanford、CMU 及其他頂尖機構的 37 位以上研究人員共同開發,並由 Pieter Abbeel 與 Jitendra Malik 擔任資深領導,RoboVerse 處理的是機器人模擬中根本性的碎片化問題。其核心是 MetaSim,一套三層式的基礎架構,透過不綁定模擬器的設定系統(MetaConfig)與標準化 API,將各種模擬環境抽象化為通用介面。MetaSim 支援 11 個模擬器後端,包括 Isaac Lab、Isaac Gym、MuJoCo、SAPIEN、PyBullet、Genesis、cuRobo、PyRep/CoppeliaSim 與 Blender。框架分為三大支柱:MetaSim(核心模擬抽象層)、RoboVerse Pack(預先設定好的機器人、任務與場景資產,共 5,500 個以上的資產與 276 個任務類別),以及 RoboVerse Learn(整合模仿學習與強化學習的學習演算法)。RoboVerse 支援跨模擬器驗證、跨形態轉移與混合模擬,同時提供超過 510,000 條操作軌跡與 5,000 萬筆以上的高品質狀態轉移供訓練使用。已獲 RSS 2025 接收,並以 Apache 2.0 授權釋出。
為何重要
RoboVerse 處理的是機器人學習研究中最大的單一瓶頸:模擬器、資料集與評估協定之間的碎片化。在 RoboVerse 之前,研究人員在 MuJoCo 與 Isaac Sim 等模擬器之間切換時,必須從頭重寫程式碼,使得可重現性幾乎不可能達成。沒有其他專案提供真正不綁定模擬器的抽象層,讓你在一個模擬器中訓練策略,再無縫地在其他模擬器中驗證。透過將 11 個模擬器後端、18 個評測資料集與標準化評估協定統一在單一 API 之下,RoboVerse 首次讓人能在不同模擬後端與機器人形態之間,對機器人學習演算法進行同基準的比較。
解決的問題
機器人模擬高度碎片化:每個模擬器(MuJoCo、Isaac Sim、SAPIEN、PyBullet 等)都有自己的 API、設定格式與資料慣例。研究人員切換模擬器時必須重寫整個程式碼庫,使跨平台驗證不切實際,可重現性也幾乎不可能達成。評測資料集同樣各自孤立、格式互不相容。RoboVerse 的解法是提供通用抽象層,將所有主要模擬器的介面標準化、統一資料集格式並建立一致的評測基準,讓研究人員寫一次程式碼就能到處執行,相較模擬器原生效能的運算額外負擔低於 5%。
重點
- 將 11 個模擬後端(Isaac Lab、MuJoCo、SAPIEN、PyBullet、Genesis 等)統一在單一 API 之下,相較原生效能的額外負擔低於 5%
- 提供 276 個任務類別、5,500 個以上的資產、510,000 條以上的操作軌跡,以及 5,000 萬筆以上的狀態轉移,用於機器人學習
- 以統一格式整合 18 個既有的評測資料集(RLBench、ManiSkill、LIBERO、Meta-World、robosuite、GraspNet)
- 支援跨模擬器驗證、跨形態轉移,以及結合不同物理引擎的混合模擬
- 內含 RoboVerse Learn,內建模仿學習(ACT、擴散策略、VLA)與強化學習(PPO、TD3、SAC)演算法
- 透過 MetaSimInterface 新增模擬器後端,只需實作約 300 行程式碼
適用對象
- 從事模仿學習、強化學習與模擬到現實(sim-to-real)轉移的機器人研究人員
- 建構機器人基礎模型、需要大規模多樣化訓練資料的機器學習工程師
- 需要可重現評測基準以跨模擬器比較演算法的學術實驗室
- 希望縮短模擬設定時間並降低資料收集成本的機器人新創公司
- 在多個平台上學習機器人操作與策略訓練的學生與教育工作者
限制
- 需要支援 CUDA 的 NVIDIA GPU;建議使用 RTX 3090 或更高階的顯示卡以使用完整功能
- Isaac Sim 後端需要特定的 NVIDIA 驅動程式(525 以上)以及具備 RT Core 且有 8GB 以上 VRAM 的 GPU
- 尚不支援 Windows,目前僅限 Ubuntu 20.04 以上與 macOS 12 以上
- 儲存空間需求大(完整資料集與模擬器安裝需 100GB 以上)
- 跨模擬器的物理一致性取決於各模擬器的實作,可能產生細微的行為差異
- 仍處於 alpha 版本(v1.0.0-alpha),API 可能變動