Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

作者: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

许可协议

  • 开放获取
  • 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

GenAug 使用深度引导的文本到图像扩散模型，在少量真实演示中重绘物体、干扰物和背景，使 CLIPort 抓取放置策略能在未见过的场景中工作。

为何重要

一个在单一简单环境中用 10 个演示训练的策略，随后就能在不同的真实场景中使用，而无需收集更多机器人数据。物体掩码只在演示中需要，测试时不需要。

问题

机器人学习需要大规模、多样化的数据集，但真实世界的数据收集成本很高，而且许多机器人数据集来自单一设置，只有几个小时的数据。颜色抖动、模糊和裁剪等标准增强方法涵盖低层次的外观变化，但不涵盖新的干扰物、背景或物体外观等语义变化。

提出的方法

GenAug 以带有物体掩码和已标定相机位姿的 RGBD 演示为输入，使用一个预训练的深度引导文本到图像扩散模型来改变同一类别内的物体纹理、通过先渲染来自 Google Scanned Objects 和 Free3D 的网格来替换物体类别、添加经过碰撞检查的干扰物，并重绘背景。由于被抓取物体和目标的位置保持不变，原始的抓取放置动作标签仍然有效；每个演示被增强 100 次，结果用于训练 CLIPort 策略。

关键见解

  • 只要物体和目标的大致位置不变，抓取放置动作在很大的视觉变化下仍然有效，因此生成的图像可以复用原始的动作标签。
  • 在深度引导生成之前先渲染物体网格，可以使跨类别替换保持 3D 一致；单纯的图像修复常常产生不合理的图像（附录 A）。
  • 复制粘贴和随机背景增强提高了对新环境的鲁棒性，但在未见过的物体上不及 GenAug，作者将此视为物理上合理、语义上有意义的场景很重要的证据。
  • 随着每个演示的增强数量从 0 增加到 10、50 和 100，成功率随之上升（图 11）。

主要结果

  • 真实世界，10 个任务，每个任务 10 个演示：在未见过的环境上平均成功率 85%，在未见过的放置目标物体上 52%，在未见过的抓取物体上 45%（表 I，每种条件 10 个场景）。
  • 与不使用 GenAug 训练的 CLIPort 在真实世界中的比较（表 II，每种条件 5 个场景）：未见过的环境 80% 对 38%，未见过的放置物体 54% 对 8%，未见过的抓取物体 46% 对 10%。
  • 摘要和结论报告称，与不使用 GenAug 的训练相比，对新场景和新物体的泛化提升了 40%。
  • 仿真，未见过的环境，100 个演示（表 III）：GenAug 得分 77.6（TransporterNet）和 71.9（CLIPort），带深度的 GenAug 为 91.2 和 73.4，而不使用增强时为 9.8 和 14.4。
  • GenAug 并非在表 III 的每一格中都是最好的方法；例如，在 TransporterNet、100 个演示、未见过的环境下，Random Background 得分 79.1，而 GenAug 为 77.6。

局限

  • GenAug 不增强动作标签，也不推理材料、摩擦或变形；它假设原始动作仍然有效，并且不会与添加的物体发生碰撞（作者所述）。
  • 它无法保证视频各帧之间的视觉一致性（作者所述）。
  • 增强一个场景大约需要 30 秒，这对于同策略 RL 等方法可能不切实际（作者所述）。
  • 当物体与背景颜色相近、干扰物非常明亮或颜色相近，或者桌上物体过多时，会出现失败。
  • 演示需要人工标注的物体掩码、已标定的相机位姿以及一个物体网格库，并且该方法仅在使用吸盘夹爪的桌面抓取放置任务上进行了测试。

对领域的影响

入围 RSS 2023 最佳系统论文奖决选，被引用 165 次。官方项目页面 genaug.github.io 链接到一个代码仓库。

摘要

机器人学习方法有潜力在任务、环境和物体之间实现广泛的泛化。然而，这些方法需要大规模、多样化的数据集，而在真实世界的机器人场景中收集这些数据成本高昂。要让机器人学习实现泛化，我们必须能够利用机器人自身经验之外的数据源或先验。在这项工作中，我们认为，在大规模网络爬取数据语料上预训练的图像-文本生成模型可以作为这样的数据源。我们表明，尽管这些生成模型主要是在非机器人数据上训练的，它们仍然可以作为有效的途径，将先验注入机器人学习过程，从而实现广泛的泛化。具体而言，我们展示了预训练生成模型如何能够作为进行有语义意义的数据增强的有效工具。通过利用这些预训练模型生成合适的“语义”数据增强，我们提出了一个系统 GenAug，它能够显著提升策略的泛化能力。我们将 GenAug 应用于桌面操作任务，展示了只需少量真实世界数据就能将行为重新定向到新场景的能力。我们在真实世界的多个物体操作问题上证明了该系统的有效性，在对新场景和新物体的泛化上提升了 40%。

链接

  • arXiv 2302.06671: https://arxiv.org/abs/2302.06671
  • DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
  • PDF: https://arxiv.org/pdf/2302.06671v1
  • 代码: https://github.com/genaug/genaug
  • 项目主页: https://genaug.github.io/

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。