Evaluating Real-World Robot Manipulation Policies in Simulation

作者: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

SIMPLER：Google Robot 與 WidowX/BridgeData V2 設置的開源模擬版本，其策略排名與真實結果相符（Pick Coke Can 上 MMRV 0.031、r 0.976）。

為何重要

反覆改進模仿學習策略的團隊，可以得到一個便宜、可重複且與真實表現相符的訊號，論文也顯示驗證集動作 MSE 是很差的替代指標（表 I）。這些環境可用 pip 安裝，採用標準 Gym 介面，在一張 RTX 4090 上每秒可渲染 3.5k 個模擬步，作者表示這比真實評估快 7×。

問題

通用操作策略必須在許多任務與場景中測試，而如此廣泛的真實機器人評估昂貴、緩慢，且難以在不同實驗室之間重現。為模擬打造完整的數位孿生同樣成本高昂，因為需要手工製作幾何、材質、光照與物理特性。

提出的方法

作者打造的模擬只需真實到讓模擬與真實的成功率以相同方式為策略排名即可。他們藉由識別模擬控制器的剛性與阻尼（以現有示範資料，對末端執行器追蹤誤差進行模擬退火）來縮小控制落差，並藉由在模擬前景物體後方「綠幕合成」真實背景、以及讓物體與機器手臂紋理與真實影像相符，來縮小視覺落差。他們也提出平均最大排名違反（Mean Maximum Rank Violation，MMRV）指標，依排名錯誤的兩個策略之間的真實世界表現差距，為每個排名錯誤加權。

關鍵見解

• 不需要精確的數位孿生：模擬只需保持策略之間的相對排名。
• 單看 Pearson r 可能產生誤導，因為它獎勵線性擬合，而且在策略表現相近時會隨微小雜訊大幅擺盪；MMRV 則依真實表現差距為每次排名錯誤加權。
• 視覺修正必須一起使用才有幫助：綠幕背景加上紋理相符的抽屜與機器人，在抽屜任務上得到最低的 MMRV（0.050），而只用部分組合並不比 0.087 的基準好。
• 控制器的系統識別很重要：擾動剛性與阻尼會讓 Pick Coke Can 的 MMRV 從 0.031 升到 0.070–0.100。
• 模擬能預測先前未測試過的真實敏感度，例如 Octo-Base 對機器手臂紋理的敏感度，後來一項把手臂包上禮物包裝紙的真實實驗證實了這一點。

主要結果

• 採用 Visual Matching 的 Google Robot：Pick Coke Can 上 MMRV 0.031 / r 0.976，Move Near 上 0.111 / 0.855，Open Drawer and Place Apple 上 0.000 / 0.969。對於 Open/Close Drawer，圖 6 報告為 0.055 / 0.915，而表 I 的 Drawer 欄則為 0.027 / 0.942；論文並未解釋此差異。
• Google Robot 各任務平均（表 I）：Visual Matching 的 MMRV 為 0.056、r 為 0.924，Variant Aggregation 為 0.143 與 0.778，驗證集動作 MSE 為 0.375 與 0.308。
• WidowX 上的 BridgeData V2 任務：平均 MMRV 0.014、r 0.890；除了一項任務之外，所有任務中的策略排名皆正確。
• 兩個 RT-1 檢查點上的分布偏移：未使用資料擴增時 MMRV 0.000 / r 0.831，使用時為 0.016 / 0.970；新的單色桌面讓真實成功率下降 4%、模擬下降 2%，有圖案的紋理則讓真實下降 25%、模擬下降 24%。
• 在 Isaac Sim 中以 Variant Aggregation 於 Pick Coke Can 與 Move Near 重現：MMRV 0.058 / r 0.919，相較於 SAPIEN 中的 0.082 / 0.923。
• Octo-Base 在使用未調整手臂紋理的模擬中得分 0%，使用調整後紋理時為 29.3%；改變物體質量、夾爪摩擦或櫃子關節摩擦，會讓成功率變動最多 15%，而相關性仍維持在高水準。

限制

• 只涵蓋剛體操作；可變形物體留待未來搭配軟體模擬研究。
• 綠幕合成僅限於固定相機，且無法重現物體陰影與其他視覺細節。
• 建立環境仍需人工整理素材與組建場景；櫃子這類關節式物體最費工。
• 物理特性經過簡化（以 GPT-4 或網路搜尋查得的均勻密度、通用的摩擦值），而且不期望絕對成功率與真實世界相符，只期望排名相符。
• 有一個策略在抽屜任務上的真實評估，因可能損壞機器人而在 2 次試驗後中止，因此該 MMRV 是一個上限估計。

對領域的影響

被引用 426 次。作者在 simpler-env.github.io 釋出所有 SIMPLER 環境、RT-1、RT-1-X 與 Octo 的策略推論程式碼，以及建立新環境的指南，另外也釋出命令列紋理比對腳本（github.com/Jiayuan-Gu/GeTex）。

摘要

機器人領域在通用機器人操作策略上已有重大進展。然而，這類策略的真實世界評估無法規模化，且面臨可重現性的挑戰，而隨著策略能執行的任務範圍擴大，這些問題很可能更加惡化。我們指出，真實與模擬環境之間的控制差異與視覺差異，是可靠模擬評估的關鍵挑戰，並提出能縮小這些落差、又不需打造真實環境之完全擬真數位孿生的方法。接著，我們運用這些方法建立 SIMPLER，這是一組用於在常見真實機器人設置上評估操作策略的模擬環境。透過對操作策略進行成對的模擬與真實評估，我們證明策略在 SIMPLER 環境中的表現與在真實世界中的表現高度相關。此外，我們發現 SIMPLER 的評估能準確反映策略在真實世界中的行為模式，例如對各種分布偏移的敏感度。我們在 https://simpler-env.github.io 開源所有 SIMPLER 環境以及建立新環境的工作流程，以促進通用操作策略與模擬評估框架的研究。

連結

• arXiv 2405.05941: https://arxiv.org/abs/2405.05941
• DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
• PDF: https://arxiv.org/pdf/2405.05941v1
• 程式碼: https://github.com/simpler-env/SimplerEnv
• 專案頁面: https://simpler-env.github.io/