Open-Vocabulary Affordance Detection in 3D Point Clouds
作者: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023
许可协议
- 开放获取
- 论文: CC0 1.0 Universal
以下内容均依据作者按 CC0 1.0 Universal 发布的论文全文；其中的图已注明作者。
一句话总结
将逐点的 PointNet++ 特征与冻结的 CLIP 文本嵌入进行匹配，使机器人可以用任意可供性词语查询点云，包括训练中没有出现过的词语。
为何重要
可以用通俗的语言告诉机器人应该作用于物体的哪个部分，并得到一个 3D 区域，可直接交给抓取检测、逆运动学和轨迹规划使用，而无需为每个新动词重新训练。推理约需 100 ms，作者在配备 RealSense D435i 和 Robotiq 2F-85 夹爪的 KUKA LBR iiwa 上运行了该方法。
问题
现有的可供性检测器，无论基于图像还是点云，都是在一组固定的可供性标签上训练的，因此机器人若要请求一个新的标签，就必须重新标注。基于图像的检测器还需要一个额外步骤把 2D 结果提升到 3D，而早期的单样本或少样本可供性方法仍需要标注样例，并且只适用于 2D 图像。
提出的方法
OpenAD 使用 PointNet++ 骨干网络，为 2048 个输入点中的每个点生成一个 512 维嵌入，并用冻结的 CLIP ViT-B/32 文本编码器对每个可供性标签进行编码。每个点嵌入与每个标签嵌入之间的余弦相似度，经一个可学习的温度缩放后，给出针对所提供的任意标签的逐点 softmax；训练使用类别加权的负对数似然损失。推理时，任何文本都可以作为标签传入。
关键见解
- 将点特征与语言模型的文本嵌入对齐，使语义相关但未见过的标签无需任何标注样例就能落在正确的区域上
- 文本编码器的选择对开放词汇结果很重要：在两种骨干网络上，CLIP ViT-B/32 的 mIoU 都优于 BERT，而闭集结果大致相当
- 加入语言驱动的头部不会损失闭集精度：OpenAD 与专用点云分割网络的差距在一个百分点的零头以内
- 由于每个点都从当前标签集中取最佳标签，加入一个更具体的标签（例如在“contain”之后加入“grasp”）会重新标注相关的点
主要结果
- 零样本、完整形状（3D AffordanceNet 重新标注为 37 类）：mIoU 14.37，而 ZSLPC 为 9.97，3DGenZ 为 6.46，TZSLPC 为 3.86；Acc 46.31 和 mAcc 19.51，均为最高
- 零样本、部分视角：mIoU 12.50，而 ZSLPC 为 9.52。正文称差距为 3.98%，而表 I 的数字给出的是 2.98 个百分点；Acc 45.25 和 mAcc 17.37 也是最高
- 闭集 3D AffordanceNet（表 II），完整形状：mIoU 42.00，而 DGCNN 为 42.09，PointNet++ 为 41.26，Point Transformer 为 41.26；Acc 最高，为 69.03
- 闭集、部分视角：mIoU 41.87，而 DGCNN 为 41.93，PointNet++ 为 41.10，Point Transformer 为 40.51；Acc 最高，为 69.91
- 消融（开放词汇、完整形状）：PointNet++ 配 CLIP 为 14.37 mIoU，配 BERT 为 10.55；DGCNN 配 CLIP 为 10.88，配 BERT 为 9.43
- 推理平均约需 100 ms；真实机器人演示包括提起并举高一个袋子、包裹一个瓶子以及推动一个耳机
局限
- 作者表示该方法距离检测完全未见过的可供性仍很远，并展示了在已见物体上的失败案例
- 作者展示了误报情况，即 OpenAD 找到了物体并不具备的可供性（袋子上的 display、微波炉上的 support、帽子上的 openable）
- 零样本的绝对分数仍然较低（完整形状 mIoU 14.37，部分视角 12.50），作者呼吁更好的视觉-语言关联（例如交叉注意力）、更强的骨干网络以及更大的可供性数据集
- 真实机器人实验只是演示，没有报告成功率
- 输入是采样为 2048 个点的单个已分割物体；机器人流程依赖一个单独的物体定位步骤
对领域的影响
入选 IROS 2023 最佳综合论文奖与最佳学生论文奖的合并决选名单，被引用 66 次。论文称作者将发布源代码；获许可的副本中没有给出链接。
摘要
可供性检测是一个具有挑战性的问题，在机器人领域有着广泛的应用。传统的可供性检测方法局限于一组预定义的可供性标签，因此可能限制智能机器人在复杂、动态环境中的适应能力。在本文中，我们提出了开放词汇可供性检测（Open-Vocabulary Affordance Detection，OpenAD）方法，它能够在 3D 点云中检测数量不受限制的可供性。通过同时学习可供性文本和点特征，OpenAD 成功地利用了可供性之间的语义关系。因此，我们提出的方法能够实现零样本检测，可以在没有任何一个标注样例的情况下检测此前未见过的可供性。大量实验结果表明，OpenAD 在多种可供性检测设置中都能有效工作，并以较大优势超越其他基线方法。此外，我们展示了所提出的 OpenAD 在真实世界机器人应用中的实用性，其推理速度很快（≈100 ms）。
链接
- arXiv 2303.02401: https://arxiv.org/abs/2303.02401
- DOI 10.1109/IROS55552.2023.10341553: https://doi.org/10.1109/IROS55552.2023.10341553
- PDF: https://arxiv.org/pdf/2303.02401v1