Instance Segmentation for Autonomous Log Grasping in Forestry Operations

作者: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个新的带掩码原木数据集表明，像素级 Transformer 对杂乱、弯曲原木的分割远优于框候选网络，这是迈向自主集材机的第一步感知工作。

为何重要

起重臂无法抓取它无法定位的原木，而逐根原木的掩码即使对弯曲原木也能给出可用的抓取点。结果表明了哪一类检测器适合杂乱、细长的物体，这也适用于其他野外和农业拾取任务。

问题

早期关于用集材机起重臂自动拾取原木的工作假设原木位姿已知，很少关注感知。原木细长、朝向随机、相互重叠且常常弯曲，因此轴对齐的框会框进相邻原木，框的中心也可能落在弯曲原木之外；此前不存在分割原木的公开数据集。

提出的方法

作者从魁北克圣让湖附近作业中集材机上的行车记录仪采集图像，再加上在木材场拍摄的相机照片和公开视频中的帧，并用多边形掩码标注最上层的原木。他们在 5 折交叉验证下比较了 Mask R-CNN、使用有向锚框的 Rotated Mask R-CNN 和 Mask2Former，并研究了数据规模和输入分辨率如何影响 Mask2Former。

关键见解

轴对齐的区域候选框会把相邻原木框进来，从而降低掩码质量；有向锚框有所帮助，但不使用区域候选框的 Mask2Former 效果好得多
原木的平均长宽比为 8.3，最高可达 24，远离通常使用的 2:1 或 1:2 锚框比例
mAP 随训练集规模按幂律增长，训练集每翻一倍约提高 6.87%，因此在达到平台期之前，更多数据应当有帮助
用先前训练好的网络对图像进行预标注，每张图像节省了约 40% 的标注时间
之所以需要掩码而非有向框，是因为有向框的中心可能落在弯曲原木之外

主要结果

掩码 mAP：Mask R-CNN 19.03，Rotated Mask R-CNN 31.83，Mask2Former 使用 Swin-B ImageNet-1k 骨干时为 56.05，使用 ImageNet-22k 时为 57.53
上述四个模型的平均召回率分别为 28.60、36.95、64.06 和 65.16，F1 分别为 0.23、0.34、0.60 和 0.61
在 RTX 3090 上，推理速度为 Mask R-CNN 12.30 fps，Rotated Mask R-CNN 5.44 fps，两个 Mask2Former 变体分别为 8.33 和 8.34 fps
在掩码 IoU 0.5 时，Mask2Former 的精确率超过 80%，同时保持 80% 的召回率
将 Mask2Former 的输入缩小到 256 × 256 时，速度提高到 24.05 fps；在 512 × 512 左右，速度提高到三倍，精确率下降约 5%
每张图像的原木数量在图 2 的图注中给出为 1 到 30 根，在正文中为 1 到 29 根，平均 11.3 根

局限

该方法基于单帧，作者称之为最坏情况；跨视频帧跟踪原木留待未来工作
IoU 为 0.5 即足以成功抓取的假设尚未经过实验验证
未进行任何抓取：论文仅在 220 张图像上评估感知
只标注和检测原木堆最上层的原木

对领域的影响

入围 IROS 2022 农业机器人最佳论文奖（YANMAR 赞助）决选，被引用 40 次。论文称 TimberSeg 1.0 数据集将在论文发表时公开。

摘要

原木拾取是一项难以自动化的任务。事实上，原木通常以杂乱的形态出现，朝向随机且相互重叠。近期关于原木拾取自动化的工作通常假设原木位姿已知，很少考虑实际的感知问题。在本文中，我们采用数据驱动的方法正面解决后者。首先，我们提出一个名为 TimberSeg 1.0 的新数据集，它经过密集标注，即同时包含原木的边界框和像素级掩码标注。该数据集包含 220 张图像，共 2500 根单独分割的原木。然后，我们利用该数据集，在单根原木检测与分割任务上比较了三种神经网络架构：两种基于区域的方法和一种基于注意力的方法。不出所料，我们的结果表明，轴对齐的候选框由于未能考虑原木的方向性，表现不佳，仅为 19.03 mAP。一种感知旋转的候选框方法显著改善了结果，达到 31.83 mAP。更有意思的是，一种基于 Transformer 的方法在没有任何关于旋转的归纳偏置的情况下，优于另外两种方法，在我们的数据集上达到 57.53 的 mAP。我们的用例展示了基于区域的方法在杂乱、细长物体上的局限性。它也突出了基于注意力的方法在这一特定任务上的潜力，因为它们直接在像素级别工作。这些令人鼓舞的结果表明，这样的感知系统在短期内可用于辅助操作员，未来则可用于完全自动化原木拾取作业。

链接

arXiv 2203.01902: https://arxiv.org/abs/2203.01902
DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
PDF: https://arxiv.org/pdf/2203.01902v1