SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

作者: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

航空影像道路測繪，未涉及機器人：在三個尺度上對空間交互空間與投影交互空間進行圖推理，可連接被遮擋的路段，並在兩個基準上將 APLS 連通性提高約 1 個百分點。

為何重要

擷取出的地圖能否用於路徑規劃，取決於道路連通性，而不只是像素準確度，而 SPIN 的提升在連通性指標上最大。此模組只增加 0.03M 參數，可直接放進既有 ConvNet 的某個卷積區塊之後。收斂更快縮短了在大型高解析度資料集上的訓練時間，而自駕車的圖資製作正需要這類資料集。

問題

從航空影像擷取的道路圖可協助自駕車找出可行駛區域並限制運動規劃。道路寬度不一、在影像中分岔，且常被樹木、建築物或雲層遮蔽，而一般的 ConvNets 不善於擷取長距離相依關係，導致道路連通性斷裂。Transformer 能擷取這類相依關係，但在大型高解析度影像上需要大量運算與長時間訓練。

提出的方法

SPIN 模組從特徵圖建構兩個圖：一個建立在空間位置上，以依資料而定的相似度矩陣串連遠處的道路區域；另一個建立在投影互動空間中，以學習得到的相似度矩陣把道路與建築物、樹木及其他特徵區分開。兩者的輸出與輸入特徵相加，SPIN 金字塔則在 1、1/2 與 1/4 三個尺度上套用此運算。完整網路使用殘差區塊、兩個堆疊沙漏模組、一個道路方向分支，以及多尺度的 SoftIoU 損失與方向損失。

關鍵見解

空間空間的圖推理串連遠處的路段，互動空間的推理則把道路與其他地表覆蓋區分開；兩者結合勝過單獨使用任一種
一次圖卷積即可擷取原本需要堆疊許多卷積層才能取得的長距離相依關係
在三個尺度上進行圖推理可擴大感受野，卻沒有 Transformer 的運算成本
最大的提升出現在以圖為基礎的連通性指標 APLS 上，與找回樹木和建築物下方的道路相符
加入 SPIN 讓訓練收斂更快；作者表示它使收斂速度提高一半

主要結果

Massachusetts Roads：F1 84.47、寬鬆 IoU 73.12、精確 IoU 65.24、APLS 72.49，皆為所有比較方法中最佳；次佳的 Batra et al. 為 83.97、72.37、64.44 與 71.34
DeepGlobe：F1 84.32、寬鬆 IoU 72.89、APLS 74.14，皆為比較中的最佳值；精確 IoU 67.02 略低於 Batra et al.（67.21）
APLS 相較次佳方法提升 +1.15（Massachusetts）與 +1.02（DeepGlobe）
消融實驗（Table II）：僅 ConvNet 為 73.01 APLS，空間推理 73.59，互動推理 73.52，完整 SPIN 74.14。Table II 把另外兩欄標為 IoU_a 與 F1，但完整模型那一列（84.32、67.02）與 Table I 中 DeepGlobe 的 F1 與 IoU_a 相符，因此這兩個標籤看來是對調了
SPIN 模組為 ConvNet 增加 0.03M 參數

限制

這項研究屬於航空影像製圖：它從衛星與航空影像中為自動駕駛擷取道路圖，實驗中並未使用任何機器人或車輛。
論文沒有限制章節；在 DeepGlobe 上，其精確 IoU（67.02）略低於 Batra et al.（67.21）
部分被遮蔽的影像因有損效能而從 Massachusetts 訓練集中移除
在像素指標上相對最強基線的提升很小（F1 高 0.35–0.5 分）；主要改進在 APLS
收斂較快的說法只根據一條訓練曲線（Fig. 6），且未報告實際耗時

對領域的影響

入圍 ICRA 2022 傑出自動化論文獎決選，被引用 43 次。作者已在 GitHub 上釋出程式碼。

摘要

道路擷取是建構自主導航系統的重要步驟。偵測路段具有挑戰性，因為路段寬度不一、在整張影像中分岔延伸，而且常被地形、雲層或其他天氣狀況遮蔽。僅用卷積神經網路（ConvNets）處理此問題成效不彰，因為它難以有效擷取影像中路段之間的遠距離相依關係，而這對擷取道路連通性至關重要。為此，我們提出空間與互動空間圖推理（SPIN）模組，將其插入 ConvNet 後，可在由特徵圖投影出的空間空間與互動空間上所建構的圖上進行推理。在空間空間上推理，可擷取不同空間區域之間的相依關係及其他脈絡資訊。在投影出的互動空間上推理，有助於把道路與影像中的其他地形適當地區分開來。因此，SPIN 能擷取路段之間的長距離相依關係，並有效地把道路與其他語意區分開。我們也引入 SPIN 金字塔，在多個尺度上進行 SPIN 圖推理以擷取多尺度特徵。我們提出一個以堆疊沙漏模組與 SPIN 金字塔為基礎的道路分割網路，其效能優於現有方法。此外，我們的方法運算效率高，並大幅加快訓練時的收斂速度，使其可應用於大規模高解析度航空影像。程式碼網址：https://github.com/wgcban/SPIN_RoadMapper.git。

連結

arXiv 2109.07701: https://arxiv.org/abs/2109.07701
DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
PDF: https://arxiv.org/pdf/2109.07701v1
程式碼: https://github.com/wgcban/SPIN_RoadMapper