SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

作者: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

航拍图像道路测绘，不涉及机器人：在三个尺度上对空间交互空间和投影交互空间进行图推理，可连接被遮挡的路段，并在两个基准上将 APLS 连通性提高约 1 个点。

为何重要

决定提取出的地图能否用于路径规划的是道路连通性，而不仅仅是像素精度，而 SPIN 的提升在连通性指标上最大。该模块只增加 0.03M 参数，可直接插入现有 ConvNet 的某个卷积块之后。更快的收敛缩短了在大型高分辨率数据集上的训练，而自动驾驶车辆的制图正需要这类数据集。

问题

从航拍图像中提取的道路图可帮助自动驾驶车辆找到可行驶区域并约束运动规划。道路宽度不一，在图像中分叉，且常被树木、建筑物或云层遮挡，而普通的 ConvNets 难以捕获长程依赖关系，从而破坏道路连通性。Transformer 能捕获此类依赖关系，但在大型高分辨率图像上需要大量计算和长时间训练。

提出的方法

SPIN 模块从特征图构建两个图：一个建立在空间位置上，使用依赖数据的相似度矩阵连接远处的道路区域；另一个建立在投影交互空间中，使用学习得到的相似度矩阵将道路与建筑物、树木及其他特征区分开。两者的输出与输入特征相加，SPIN 金字塔在 1、1/2 和 1/4 三个尺度上应用这一操作。完整网络使用残差块、两个堆叠沙漏模块、一个道路方向分支，以及多尺度 SoftIoU 损失和方向损失。

关键见解

空间空间图推理连接远处的路段，交互空间推理则将道路与其他地表覆盖区分开；两者结合优于单独使用任何一种
单次图卷积即可捕获原本需要堆叠许多卷积层才能获得的长程依赖关系
在三个尺度上进行图推理可扩大感受野，而没有 Transformer 的计算开销
最大的提升出现在基于图的连通性指标 APLS 上，这与恢复树木和建筑物下方的道路相一致
加入 SPIN 使训练收敛更快；作者称它将收敛速度提高了一半

主要结果

Massachusetts Roads：F1 84.47、宽松 IoU 73.12、精确 IoU 65.24、APLS 72.49，均为所有对比方法中最佳；次优的 Batra et al. 为 83.97、72.37、64.44 和 71.34
DeepGlobe：F1 84.32、宽松 IoU 72.89、APLS 74.14，均为对比方法中的最佳值；精确 IoU 67.02 略低于 Batra et al.（67.21）
APLS 相比次优方法提升 +1.15（Massachusetts）和 +1.02（DeepGlobe）
消融实验（Table II）：仅 ConvNet 为 73.01 APLS，空间推理 73.59，交互推理 73.52，完整 SPIN 74.14。Table II 将另外两列标为 IoU_a 和 F1，但完整模型那一行（84.32、67.02）与 Table I 中 DeepGlobe 的 F1 和 IoU_a 相符，因此这两个标签似乎颠倒了
SPIN 模块为 ConvNet 增加 0.03M 参数

局限

这项工作属于航拍图像制图：它从卫星和航拍图像中为自动驾驶提取道路图，实验中未使用任何机器人或车辆。
论文没有局限性章节；在 DeepGlobe 上，其精确 IoU（67.02）略低于 Batra et al.（67.21）
部分被遮挡的图像因损害性能而从 Massachusetts 训练集中被移除
在像素指标上相对最强基线的提升很小（F1 提高 0.35–0.5 个点）；主要改进体现在 APLS 上
收敛更快这一说法仅基于一条训练曲线（Fig. 6），未报告实际耗时

对领域的影响

入围 ICRA 2022 杰出自动化论文奖决赛，被引用 43 次。作者在 GitHub 上发布了代码。

摘要

道路提取是构建自主导航系统的重要步骤。检测路段具有挑战性，因为路段宽度不一、在整幅图像中分叉延伸，而且常被地形、云层或其他天气条件遮挡。仅使用卷积神经网络（ConvNets）处理这一问题效果不佳，因为它难以有效捕获图像中路段之间的远距离依赖关系，而这对提取道路连通性至关重要。为此，我们提出了空间与交互空间图推理（SPIN）模块，将其插入 ConvNet 后，可在从特征图投影得到的空间空间和交互空间上构建的图上进行推理。在空间空间上的推理可提取不同空间区域之间的依赖关系以及其他上下文信息。在投影交互空间上的推理有助于将道路与图像中的其他地形恰当地区分开。因此，SPIN 能提取路段之间的长程依赖关系，并有效地将道路与其他语义区分开。我们还引入了 SPIN 金字塔，在多个尺度上进行 SPIN 图推理以提取多尺度特征。我们提出了一个基于堆叠沙漏模块和 SPIN 金字塔的道路分割网络，其性能优于现有方法。此外，我们的方法计算高效，并显著加快了训练时的收敛速度，使其可用于大规模高分辨率航拍图像。代码地址：https://github.com/wgcban/SPIN_RoadMapper.git。

链接

arXiv 2109.07701: https://arxiv.org/abs/2109.07701
DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
PDF: https://arxiv.org/pdf/2109.07701v1
代码: https://github.com/wgcban/SPIN_RoadMapper