Interactive Object Segmentation in 3D Point Clouds

作者: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

用户直接在 3D 点云中点击正点和负点；一个仅在 ScanNet 上训练的稀疏体素网络据此细化物体掩码，并能迁移到其他室内和室外数据集。

为何重要

机器人感知模型需要带标注的点云，而该方法只需点云本身、无需对齐的图像，并且可以加到任何基于点或体素的 3D 分割网络上。它还能分割训练集中没有的类别，作者也展示了它可以通过几次点击细化自动生成的实例掩码和现有的真值标注。

问题

密集的 3D 标注成本高昂：场景包含数百万个点，而 3D 标注界面操作缓慢。早期的交互式 3D 方法在 2D 图像中获取用户反馈，这需要具有已知相机位姿的对齐图像，并需要在 2D 和 3D 视图之间切换；而全监督的实例分割需要大型训练集，无法泛化到未见过的类别，得到的掩码也过于粗糙，无法用作真值。

提出的方法

用户在 3D 场景中点击点；每次点击会把一个小立方体（边长 5 cm，在 ScanNet 上约含 30 个点）内的所有点标记到两个额外输入通道之一中，分别对应正点击和负点击。一个 MinkowskiEngine 稀疏卷积网络以 ScanNetV2 语义分割权重初始化，输出二值的前景/背景掩码，并用随机模拟的点击进行微调；测试时，由模拟用户点击最大错误区域的中心。可选的在线自适应会在标注过程中根据用户的点击更新模型。

关键见解

• 将点击编码为小立方体，契合现有使用包围盒的 3D 标注工具；边长 5 cm 效果最好（NOC@90 为 14.72，而 10 cm 时为 16.09）。
• 仅在 ScanNetV2 上训练的模型在 S3DIS 上所需的点击次数比在其自身验证集上还少，而 SemanticKITTI（稀疏、无颜色、传感器不同）则需要多得多的点击。
• 根据用户点击进行在线自适应，在 SemanticKITTI 上减少了约 4 次点击，并改善了 ScanNet 中没有的 S3DIS 类别，例如 beam 和 board。
• 在一项三人用户研究中，模拟点击能够代表真实标注者。
• 80% IoU 的掩码仍包含明显的错误区域，因此作者认为真值标注应以约 90% IoU 为目标。

主要结果

• ScanNetV2 验证集上达到 80 / 85 / 90% IoU 所需的点击次数：已见类别为 8.3 / 10.6 / 13.6，未见类别为 11.7 / 14.1 / 16.5。
• 在 ScanNetV2 基准类别上的 3D 实例分割 AP：每个物体 5 次点击时为 61.8（Table 1 中的数值，正文给出 61.5），10 次点击时为 75.5，而类别无关的 HAIS 为 55.1，SSTNet 为 49.4。
• ScanNetV2 未见类别：1 次点击时 AP 为 13.5，3 次点击时为 33.1，10 次点击时为 60.3，而类别无关的 HAIS 为 13.8。
• S3DIS Area 5，无微调：达到 80 / 85 / 90% IoU 需 6.8 / 8.9 / 11.8 次点击，使用在线自适应时为 6.5 / 8.6 / 11.5 次。
• SemanticKITTI：达到 80 / 85 / 90% IoU 需 19.4 / 19.5 / 19.6 次点击，使用在线自适应后降至 15.1 / 15.4 / 15.9 次。
• 用户研究：在困难的“picture”类别上，5 次点击后的 IoU 人类为 49.6，模拟器为 32.0；在随机物体上，10 次点击后的 IoU 分别为 82.0 和 84.8。

局限

• 这项工作属于 3D 感知工具：它借助人的点击在点云中分割物体，实验中未使用任何机器人。
• 作者将利用预训练的语义和实例骨干网络增强输入列为未来工作。
• 先前交互得到的掩码尚未作为下一次修正的输入反馈回去。
• 训练时随机采样点击，而不是采用模拟真实用户的迭代策略，并且没有处理前景/背景类别不平衡的损失函数。
• 无颜色的稀疏室外扫描需要多得多的点击：在 SemanticKITTI 上不使用自适应时，达到 80–90% IoU 约需 19.5 次。

对领域的影响

入围 ICRA 2023 杰出物理人机交互论文奖决赛，被引用 36 次。获许可的版本未提供代码或数据链接；文中描述了为用户研究构建的标注工具，但未说明是否已发布。

摘要

深度学习依赖大量带标注的训练数据。人工标注成本高昂，是一个瓶颈，尤其是对于分割这类任务，标签必须细化到单个点的层面。对于 3D 数据，这一挑战更为艰巨：3D 点云每个场景包含数百万个点，对其进行精确标注明显更耗时。3D 点云用户界面的额外复杂性又使情况雪上加霜，进一步拖慢了标注。在 2D 图像分割中，交互式技术已经很常见：用户以几次点击的形式提供反馈，引导分割算法（如今通常是神经网络），以最小的工作量获得精确的标注。令人意外的是，3D 场景的交互式分割还很少被研究。先前的工作试图利用来自 2D 域的人类反馈获得精确的 3D 分割掩码，这只有在与 3D 点云一起提供正确对齐的图像时才可行，并且需要在 2D 和 3D 域之间来回切换。在这里，我们提出一种交互式 3D 物体分割方法，用户直接与 3D 点云交互。重要的是，我们的模型不需要来自目标域的训练数据：在 ScanNet 上训练后，它在其他几个数据特性和物体类别都不同的数据集上也表现良好。此外，我们的方法与有监督（实例）分割方法正交，可以与之结合，以最少的人工工作量细化自动分割结果。

链接

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1