Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects
作者: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
一个仅在域随机化与照片级真实感混合合成图像上训练的关键点网络，估计出的 6-DoF 物体位姿足以用于真实机器人的抓取。
为何重要
机器人学习一个新的已知物体时不需要任何真实的标注图像；而且由于位姿来自 PnP 而非直接回归，网络无需重新训练即可用于不同的相机。论文表明，在 Baxter 上，估计结果足够准确，可用于自上而下的抓取、拾取后放置到另一个物体上，以及从人手中接过物体。
问题
操作已知物体需要知道其 3D 位置和朝向，但在真实图像中标注 6-DoF 位姿非常费力，因此网络通常在与测试集高度相关的真实数据上训练，对新相机和新光照泛化较差。合成数据避免了标注，但存在现实差距；而单靠域随机化，此前还需要在真实数据上微调才能具有竞争力。
提出的方法
DOPE 是一个六阶段全卷积网络（VGG-19 的前十层，加上受卷积姿态机启发的若干阶段），输出 8 个投影长方体顶点和质心的置信图，以及从顶点指向质心的向量场。峰值被贪心地分组为物体实例，并与相机内参和物体尺寸一起送入透视 n 点（PnP）求解器以恢复位姿。训练使用约 60k 张域随机化图像和 60k 张照片级真实感图像，内容为 YCB 物体，由作者为 Unreal Engine 4 开发的 NDDS 插件渲染。
关键见解
- 域随机化合成数据与照片级真实感合成数据相互补充：120k 的混合数据集胜过了单一类型的大得多的数据集。
- 预测 2D 关键点并求解 PnP，使相机内参不会进入网络权重，这与直接回归位姿的方法不同。
- 每增加一个网络阶段都会提高精度并耗费时间，因为后面的阶段使用更大的感受野来消除前面的歧义。
- 仅用合成数据训练，对不同相机和极端光照的泛化优于 PoseCNN，而 PoseCNN 的真实训练图像来自与其测试集相同的相机。
- 渲染器未建模的材质会导致漏检：午餐肉罐头的反光金属顶盖在成为唯一可见部分时未被识别。
主要结果
- 在 YCB-Video 上，仅用合成数据训练的 DOPE 在 5 个物体中的 4 个上 ADD 曲线下面积高于 PoseCNN（在合成数据加真实 YCB-Video 数据上训练），并且在 2 cm 以下表现更好，而 2 cm 大约是 Baxter 夹爪的抓取误差极限。
- 糖盒，仅用域随机化数据：AUC 从 2k 张图像时的 0.25 上升到 10k 时的 54.22 和 100k 时的约 60.6，在 300k 时达到峰值 66.64；仅用照片级真实感数据时在 600k 时达到峰值 62.94；120k 的混合数据集达到 77.00。
- 混合比例：只要在包含另一数据集全部数据的同时，至少包含任一数据集的 40%，所有网络的性能就相当。
- 阶段数与耗时（包括物体提取和 PnP）：1 个阶段在 57 ms 内得到 46.44 AUC，6 个阶段在 232 ms 内得到 75.69 AUC。
- Baxter 在杂乱环境中自上而下抓取，每个物体 12 次试验：饼干盒 10 次、午餐肉罐头 10 次、芥末瓶 11 次、糖盒 11 次、番茄汤罐头 7 次（罐头侧放时为 9 次）。
局限
- 严重遮挡的午餐肉罐头经常被漏检，因为合成数据没有对反光的金属顶面进行建模。
- 圆形物体难以自上而下抓取：直立的汤罐头在 12 次试验中成功 7 次。
- 抓取在没有闭环伺服的情况下执行；误差来自位姿估计、相机到机器人的标定以及不精确的机器人控制，其中控制似乎起了很大作用。
- 该方法假设物体是已知尺寸的已知刚体，且相机内参已知；作者将更多物体、对称性处理和闭环精修列为未来工作。
- 与 PoseCNN 在极端光照下的比较仅为定性比较。
对领域的影响
被引用 778 次。论文指向其 NVIDIA 项目页面上的视频和代码，该页面链接到 DOPE 代码仓库；照片级真实感训练数据以 Falling Things（FAT）数据集的形式发布，NDDS 数据生成插件发布在 GitHub 上。
摘要
使用合成数据训练用于机器人操作的深度神经网络，有望获得几乎无限量的预先标注好的训练数据，而且这些数据是在没有任何危险的情况下安全生成的。迄今为止，合成数据的关键挑战之一是跨越所谓的现实差距，使在合成数据上训练的网络在面对真实世界数据时也能正确工作。我们在从单张 RGB 图像估计已知物体 6-DoF 位姿的背景下研究现实差距。我们表明，对于这一问题，只需将域随机化数据与照片级真实感数据简单组合，就能成功跨越现实差距。利用以这种方式生成的合成数据，我们提出了一种单次（one-shot）深度神经网络，其性能可与在真实与合成数据组合上训练的最先进网络相媲美。据我们所知，这是第一个仅在合成数据上训练、就能在 6-DoF 物体位姿估计上达到最先进性能的深度网络。我们的网络对新环境（包括极端光照条件）也有更好的泛化能力，我们对此给出了定性结果。利用该网络，我们展示了一个实时系统，其估计的物体位姿足够准确，可供真实机器人在杂乱环境中对已知家居物体进行真实世界的语义抓取。
链接
- arXiv 1809.10790: https://arxiv.org/abs/1809.10790
- DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
- PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
- 代码: https://github.com/NVlabs/Deep_Object_Pose
- 项目主页: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose