Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

Evaluating Real-World Robot Manipulation Policies in Simulation

作者: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

许可协议

  • 开放获取
  • 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

SIMPLER：Google Robot 和 WidowX/BridgeData V2 配置的开源仿真版本，其策略排名与真实结果一致（Pick Coke Can 上 MMRV 0.031、r 0.976）。

为何重要

迭代模仿学习策略的团队可以获得一个低成本、可重复且与真实性能一致的信号，论文还表明验证集动作 MSE 是真实性能的糟糕替代指标（表 I）。这些环境可通过 pip 安装，使用标准 Gym 接口，在一块 RTX 4090 上每秒可渲染 3.5k 个仿真步，作者称这比真实评估快 7×。

问题

通用操作策略必须在许多任务和场景中进行测试，而如此广泛的真实机器人评估代价高、速度慢，且难以在不同实验室之间复现。为仿真构建完整的数字孪生同样代价高昂，因为这需要手工制作几何、材质、光照和物理属性。

提出的方法

作者构建的仿真只需足够真实，使仿真成功率和真实成功率对策略的排名相同即可。他们通过辨识仿真控制器的刚度和阻尼（基于现有演示数据，对末端执行器跟踪误差进行模拟退火）来缩小控制差距，并通过在仿真前景物体背后进行真实背景的「绿幕抠像」、以及将物体和机械臂纹理与真实图像匹配来缩小视觉差距。他们还提出了平均最大排名违背（Mean Maximum Rank Violation，MMRV）指标，按排名错误的两个策略之间的真实世界性能差距为每个排名错误加权。

关键见解

  • 并不需要精确的数字孪生：仿真只需保持策略之间的相对排名。
  • 仅用 Pearson r 可能产生误导，因为它奖励线性拟合，并且在策略表现相近时会随小噪声大幅波动；MMRV 则按真实性能差距为每次排名错误加权。
  • 视觉修正只有组合使用才有效：绿幕背景加上纹理匹配的抽屉和机器人，在抽屉任务上得到最低的 MMRV（0.050），而部分组合并不比 0.087 的基线更好。
  • 控制器的系统辨识很重要：扰动刚度和阻尼会使 Pick Coke Can 的 MMRV 从 0.031 升至 0.070–0.100。
  • 仿真可以预测此前未测试过的真实敏感性，例如 Octo-Base 对机械臂纹理的敏感性，随后一项给机械臂包上礼品包装纸的真实实验证实了这一点。

主要结果

  • 采用 Visual Matching 的 Google Robot：Pick Coke Can 上 MMRV 0.031 / r 0.976，Move Near 上 0.111 / 0.855，Open Drawer and Place Apple 上 0.000 / 0.969。对于 Open/Close Drawer，图 6 报告为 0.055 / 0.915，而表 I 的 Drawer 列报告为 0.027 / 0.942；论文未解释这一差异。
  • 在 Google Robot 各任务上取平均（表 I）：Visual Matching 的 MMRV 为 0.056、r 为 0.924，Variant Aggregation 为 0.143 和 0.778，验证集动作 MSE 为 0.375 和 0.308。
  • WidowX 上的 BridgeData V2 任务：平均 MMRV 0.014、r 0.890；除一项任务外，所有任务中的策略排名都正确。
  • 两个 RT-1 检查点上的分布偏移：不使用数据增强时 MMRV 0.000 / r 0.831，使用时为 0.016 / 0.970；新的纯色桌面使真实成功率下降 4%、仿真下降 2%，带图案的纹理使真实下降 25%、仿真下降 24%。
  • 在 Isaac Sim 中用 Variant Aggregation 在 Pick Coke Can 和 Move Near 上复现：MMRV 0.058 / r 0.919，而在 SAPIEN 中为 0.082 / 0.923。
  • Octo-Base 在使用未调整机械臂纹理的仿真中得分 0%，使用调整后纹理时为 29.3%；改变物体质量、夹爪摩擦或柜子关节摩擦会使成功率变化最多 15%，而相关性仍然很高。

局限

  • 仅涵盖刚性物体操作；可变形物体留待未来借助软体仿真开展工作。
  • 绿幕抠像仅限于固定相机，且无法重现物体阴影和其他视觉细节。
  • 创建环境仍需人工整理资产和搭建场景；柜子这类铰接物体所需工作量最大。
  • 物理属性经过简化（通过 GPT-4 或网络搜索查得的均匀密度、通用摩擦值），并且不期望绝对成功率与真实世界一致，只期望排名一致。
  • 有一个策略在抽屉任务上的真实评估在 2 次试验后因可能损坏机器人而停止，因此该 MMRV 是一个上限估计。

对领域的影响

被引用 426 次。作者在 simpler-env.github.io 发布了所有 SIMPLER 环境、RT-1、RT-1-X 和 Octo 的策略推理代码，以及构建新环境的指南，另外还发布了命令行纹理匹配脚本（github.com/Jiayuan-Gu/GeTex）。

摘要

机器人领域在通用机器人操作策略方面取得了重大进展。然而，对此类策略进行真实世界评估无法规模化，并且面临可复现性方面的挑战，而随着策略能执行的任务范围扩大，这些问题可能会更加严重。我们指出，真实环境与仿真环境之间的控制差异和视觉差异是可靠仿真评估的关键挑战，并提出了在无需构建真实环境的全保真数字孪生的情况下缩小这些差距的方法。随后，我们利用这些方法创建了 SIMPLER，这是一组用于在常见真实机器人配置上评估操作策略的仿真环境。通过对操作策略进行仿真与真实的配对评估，我们证明了策略在 SIMPLER 环境中的表现与在真实世界中的表现之间存在很强的相关性。此外，我们发现 SIMPLER 评估能够准确反映真实世界中策略的行为模式，例如对各种分布偏移的敏感性。我们在 https://simpler-env.github.io 开源了所有 SIMPLER 环境以及创建新环境的工作流程，以促进对通用操作策略和仿真评估框架的研究。

链接

  • arXiv 2405.05941: https://arxiv.org/abs/2405.05941
  • DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
  • PDF: https://arxiv.org/pdf/2405.05941v1
  • 代码: https://github.com/simpler-env/SimplerEnv
  • 项目主页: https://simpler-env.github.io/

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。