SimplerEnv
以模擬為基礎的評估框架,用於測試真實世界的機器人操作策略。
授權條款
MIT
概述
SimplerEnv(SIMPLER)是一個在模擬中評估真實世界機器人操作策略的開源框架。它處理機器人研究中的一個根本挑戰:如何以可擴展的方式評估通用操作策略(例如 RT-1、RT-1-X 與 Octo)在真實機器人上是否表現良好,而不需要昂貴的實體測試。它建構在 SAPIEN 物理引擎與 ManiSkill2 之上,為 Google Robot 與 WidowX 平台提供與真實環境高度相符的模擬環境。
這個框架採用兩種評估方法。Visual Matching 將真實世界的影像疊加到模擬背景上,同時調整紋理以縮小視覺落差。Variant Aggregation 則在多個具有不同背景、光線與干擾物的環境變體中測試策略。專案以約 1,500 個評估回合驗證這些方法,顯示模擬與真實世界的策略表現之間有很強的相關性。
SimplerEnv 由 UC San Diego、Stanford、UC Berkeley 與 Google DeepMind 的研究人員開發,提供 Gym API、預先建置的策略推論程式碼、可重現的評估腳本,以及新增機器人與環境的指南。使用 ManiSkill3 的 GPU 加速版本可讓評估快 10-15 倍。
SimplerEnv 提供一套在模擬中評估機器人操作策略的標準化流程:
1. 環境設定:預先建置的 Google Robot 與 WidowX 工作範圍模擬版本,幾何、紋理與攝影機配置皆與實際相符
2. 兩種評估方法: - Visual Matching:疊加真實世界的背景影像,並調整物體/機器人的紋理,將視覺領域落差降到最低 - Variant Aggregation:在多個環境變體(不同背景、光線、干擾物)中測試並平均結果,以進行穩健的評估
3. 策略推論:內建 RT-1、RT-1-X 與 Octo 策略的推論程式碼,並提供標準化的 Gym API 以新增策略
4. 驗證:這個框架以約 1,500 個真實世界評估回合驗證,顯示模擬與真實世界的成功率之間有很強的 Pearson 相關性
5. 指標:除了標準的相關性指標外,另引入 Mean Maximum Rank Violation(MMRV)指標
發表於 CoRL 2024。
為何重要
SimplerEnv 是第一個在模擬中評估機器人操作策略、且與真實世界表現的相關性經過驗證的系統化框架。隨著機器人社群開發出更大的通用策略(RT-1、Octo、OpenVLA),可擴展的評估基礎設施變得不可或缺。SimplerEnv 讓研究人員不需要使用實體機器人就能測試策略,大幅降低策略開發的成本與時間。
解決的問題
要評估機器人操作策略在真實世界中是否可行,目前需要昂貴的實體測試。SimplerEnv 提供一個以模擬為基礎、且與真實世界結果的相關性經過驗證的替代方案,讓研究人員能以快 10-15 倍的速度迭代策略,而且不需要使用實體機器人硬體。
重點
- 以橫跨 Google Robot 與 WidowX 平台的 1,500 個評估回合,驗證了模擬到現實(sim-to-real)的相關性
- 兩種評估方法:Visual Matching(紋理疊加)與 Variant Aggregation(多環境平均)
- 透過 ManiSkill3 的 GPU 加速評估,比標準模擬快 10-15 倍
- 引入 MMRV(Mean Maximum Rank Violation)指標,用於量化模擬到現實排名的一致程度
- 跨機構合作:UC San Diego、Stanford、UC Berkeley 與 Google DeepMind
適用對象
- 評估操作策略的 VLA 與基礎模型研究人員
- 沒有 Google Robot 或 WidowX 硬體的機器人實驗室
- 開發通用操作策略、需要可擴展評估的團隊
- 尋求標準化評估協定的基準維護者
限制
- 目前僅限於 Google Robot 與 WidowX(Bridge)平台
- Visual Matching 方法需要每個環境的真實世界參考影像
- 對於需要精細力控制或可變形物體的任務,模擬到現實(sim-to-real)落差依然存在
- 需要安裝 SAPIEN/ManiSkill,在某些系統上可能很複雜