Grasp Pose Detection in Point Clouds

作者: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在任意可见表面上采样数千个 6-DOF 夹爪位姿，用一个小型 CNN 对局部点云的多视角投影逐一评分，再按启发式规则选出一个：在密集杂乱环境中成功率为 93%。

为何重要

该方法在运行时不需要分割、不需要物体身份，也不需要 CAD 模型，适合开放世界中的拾取。在机器人上的消融实验显示了每个阶段的贡献大小：点云质量、抓取分类和抓取选择启发式规则，各自使成功率变化 9 到 40 个百分点。

问题

经典的抓取流程将 CAD 模型配准到点云上，这在点云带噪声且不完整时很困难，并且假设每个物体都有模型。早期的抓取检测方法在单独摆放的物体或轻度杂乱环境中达到 75–95% 的抓取成功率，对实际使用而言过低，也不能代表真实的杂乱环境。

提出的方法

在任意可见表面上采样抓取候选：在随机点云点处构建局部 Darboux 标架，将夹爪模型向前推进直到接触，保留无碰撞且闭合区域内有点的位姿。每个候选被编码为一张 15 通道（或更省算力的 3 通道）图像，由已占据体素、被遮挡体素和表面法线的三个投影构成，并由一个四层 LeNet 风格的 CNN 评分。该 CNN 在 1.5M 个带标签样本上训练，这些样本通过在配准到真实点云的 BigBird 网格上检查无摩擦对跖抓取而生成。

关键见解

• 抓取表示很重要：带有表面法线和多视角的 15 通道描述符，在分类准确率上比 Herzog/Kappler 的 3 通道高度图至少高 10%
• 在仿真 CAD 数据上预训练在早期有帮助（4000 次迭代即达到不预训练时 20000 次迭代的准确率），但这一优势会逐渐消失；仅用仿真训练只达到 83%，而使用真实数据约为 90%
• 已知物体类别或实例可提高准确率：对已知圆柱形实例的分类准确率约为 97%，无先验知识时约为 92%
• 抓取检测更需要高精确率而非高准确率，因此论文测量 99% 精确率下的召回率
• 检测到的抓取可以作为物体分类器的物体候选，使机器人能够抓取指定名称的物体

主要结果

• 主动点云（腕部传感器配合 InfiniTAM）：在 30 轮、每轮 10 个物体的实验中，抓取成功率为 93%（288 次尝试中成功 268 次），清理了 89% 的物体
• 被动点云（两个安装在机身上的 Asus Xtion Pro）：成功率 84%（138 次中成功 116 次），清理了 77% 的物体
• 去掉抓取选择启发式规则：成功率 75%（155 次中成功 117 次）；去掉抓取分类：成功率 53%（142 次中成功 75 次）
• 99% 精确率下的召回率：15 通道表示为 89%，12 通道为 82%，Herzog/Kappler 表示为 19%
• 在 66k 点的点云上，每 1k 个候选的运行时间：3 通道描述符为 2.1 s，15 通道约为 8 s
• 在杂乱环境中将抓取用作物体候选：在 9 个物体上的物体分类准确率为 85.4%（1197 个候选中 1023 个正确）

局限

• 由于没有分割，检测器可能产生把两个相邻物体当作一个的抓取；预计开口更大的手会更常出现这种情况
• 抓取特定物体依赖于物体分类，而其在实验室中仅达到 85%；在实际使用前需要改进
• 该方法仅限于两指手（或行为类似两指手的手），对于闭合区域更复杂的手，采样方面的优势可能会消失
• Baxter 夹爪 3–7 cm 的抓取宽度限制了测试物体的选择，并且有两个物体在倒置落下时需要人工将其翻正
• 来自仿真深度图像的训练数据迁移到真实传感器的效果较差（准确率 83% 对比约 90%）

对领域的影响

722 次引用。作者以 C++ ROS 包的形式发布了实现（github.com/atenpas/gpd），并为抓取实验定义了一套密集杂乱基准测试协议。

摘要

最近，已有多种抓取检测方法被提出，它们可以直接根据传感器数据定位机器人的抓取构型，而无需估计物体位姿。其基本思想是将抓取感知类比为计算机视觉中的目标检测。这些方法以带噪声且部分被遮挡的 RGBD 图像或点云为输入，输出可行抓取的位姿估计，而不假设已知物体的 CAD 模型。尽管这些方法能很好地将抓取知识泛化到新物体上，但它们尚未被证明足够可靠，能够广泛使用。许多抓取检测方法对于单独摆放或轻度杂乱环境中的新物体，抓取成功率（抓取成功次数占抓取尝试总次数的比例）在 75% 到 95% 之间。这些成功率不仅对实际抓取应用而言过低，而且所评估的轻度杂乱场景往往不能反映真实世界抓取的实际情况。本文提出了多项创新，它们共同使抓取检测性能得到显著提升。我们每一项贡献所带来的具体性能提升，均在仿真或机器人硬件上进行了定量测量。最终，我们报告了一系列机器人实验，对于密集杂乱环境中的新物体，平均端到端抓取成功率为 93%。

链接

• arXiv 1706.09911: https://arxiv.org/abs/1706.09911
• DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
• PDF: https://arxiv.org/pdf/1706.09911v1
• 代码: http://github.com/atenpas/gpd