SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

著者: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ロボットは関わらない航空画像からの道路マッピング：空間的な相互作用空間と射影された相互作用空間の上で 3 つのスケールにわたりグラフ推論を行い、隠れた道路区間をつなげ、2 つのベンチマークで APLS 接続性を約 1 ポイント向上させた。

重要な理由

抽出した地図が経路計画に使えるかどうかを決めるのは、画素精度だけでなく道路の連結性であり、SPIN の改善幅は連結性の指標で最も大きい。このモジュールが加えるパラメータは 0.03M のみで、既存の ConvNet の畳み込みブロックの後にそのまま挿入できる。収束が速くなることで、自動運転車向けの地図作成に必要な大規模高解像度データセットでの学習時間が短縮される。

課題

航空画像から抽出した道路地図は、自動運転車が走行可能領域を見つけ、モーションプランニングを制約するのに役立つ。道路は幅がまちまちで、画像中で分岐し、木や建物、雲にしばしば隠される。一方、通常の ConvNets は長距離依存関係をうまく捉えられず、道路の連結性が途切れてしまう。トランスフォーマーはそうした依存関係を捉えられるが、大規模な高解像度画像では大きな計算量と長い学習時間を要する。

提案手法

SPIN モジュールは特徴マップから 2 つのグラフを構築する。一つは空間位置上のグラフで、データ依存の類似度行列を用いて離れた道路領域をつなぐ。もう一つは射影した相互作用空間上のグラフで、学習した類似度行列を用いて道路を建物、木、その他の特徴から分離する。両者の出力は入力特徴に加算され、SPIN ピラミッドはこれをスケール 1、1/2、1/4 で適用する。ネットワーク全体は、残差ブロック、2 つの積み重ねた砂時計モジュール、道路方向ブランチ、およびマルチスケールの SoftIoU 損失と方向損失を用いる。

主な知見

空間空間のグラフ推論は離れた道路区間をつなぎ、相互作用空間の推論は道路を他の土地被覆から分離する。両者を組み合わせると、どちらか単独より良かった
1 回のグラフ畳み込みで、本来なら多数の畳み込み層を重ねる必要がある長距離依存関係を捉えられる
3 つのスケールでグラフ推論を行うことで、トランスフォーマーの計算コストなしに受容野を広げられる
最大の改善はグラフベースの連結性指標である APLS で得られ、木や建物の下の道路を復元できていることと整合する
SPIN を加えると学習の収束が速くなった。著者は収束率が半分ほど向上すると述べている

主な結果

Massachusetts Roads：F1 84.47、緩和 IoU 73.12、厳密 IoU 65.24、APLS 72.49 で、比較したすべての手法中で最良。次点の Batra et al. は 83.97、72.37、64.44、71.34
DeepGlobe：F1 84.32、緩和 IoU 72.89、APLS 74.14 で、比較中の最良値。厳密 IoU 67.02 は Batra et al.（67.21）をわずかに下回った
次点手法に対する APLS の向上は +1.15（Massachusetts）および +1.02（DeepGlobe）
アブレーション（Table II）：ConvNet のみで APLS 73.01、空間推論 73.59、相互作用推論 73.52、完全な SPIN 74.14。Table II は他の 2 列を IoU_a と F1 としているが、完全モデルの行（84.32、67.02）は Table I の DeepGlobe の F1 と IoU_a に一致するため、この 2 つのラベルは入れ替わっているように見える
SPIN モジュールが ConvNet に加えるパラメータは 0.03M

制限事項

本研究は航空画像による地図作成であり、自動運転のために衛星画像と航空画像から道路地図を抽出するもので、実験にロボットや車両は使われていない。
論文に限界を述べた節はない。DeepGlobe では厳密 IoU（67.02）が Batra et al.（67.21）をわずかに下回った
部分的に遮蔽された画像は性能を損なうため、Massachusetts の学習セットから除外された
画素指標での最強ベースラインに対する改善は小さく（F1 で 0.35–0.5 ポイント）、主な改善は APLS にある
収束が速いという主張は 1 本の学習曲線（Fig. 6）のみに基づいており、実時間での所要時間は報告されていない

分野への影響

ICRA 2022 Outstanding Automation Paper 賞のファイナリストで、被引用数は 43。著者はコードを GitHub で公開している。

概要

道路抽出は自律ナビゲーションシステムを構築するうえで不可欠なステップである。道路区間の検出は難しい。幅がまちまちで、画像全体にわたって分岐し、しばしば地形、雲、その他の気象条件によって遮蔽されるからである。この問題に畳み込みニューラルネットワーク（ConvNets）だけを用いるのは効果的でない。道路の連結性を抽出するのに不可欠な、画像中の道路区間同士の遠距離の依存関係を捉えるのが非効率だからである。そこで我々は Spatial and Interaction Space Graph Reasoning（SPIN）モジュールを提案する。これを ConvNet に組み込むと、特徴マップから射影した空間空間と相互作用空間上に構築したグラフに対して推論を行う。空間空間上の推論は、異なる空間領域間の依存関係やその他の文脈情報を抽出する。射影した相互作用空間上の推論は、画像中の他の地形から道路を適切に描き分けるのに役立つ。こうして SPIN は道路区間間の長距離依存関係を抽出し、道路を他の意味領域から効果的に描き分ける。さらに、複数のスケールで SPIN グラフ推論を行い、マルチスケール特徴を抽出する SPIN ピラミッドを導入する。積み重ねた砂時計モジュールと SPIN ピラミッドに基づく道路セグメンテーション用ネットワークを提案し、既存手法より優れた性能を達成する。さらに、本手法は計算効率が高く、学習時の収束速度を大幅に向上させるため、大規模な高解像度航空画像への適用が可能である。コード：https://github.com/wgcban/SPIN_RoadMapper.git。

リンク

arXiv 2109.07701: https://arxiv.org/abs/2109.07701
DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
PDF: https://arxiv.org/pdf/2109.07701v1
コード: https://github.com/wgcban/SPIN_RoadMapper