SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

저자: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

로봇이 관여하지 않는 항공 이미지 도로 매핑: 공간 상호작용 공간과 투영 상호작용 공간에서 세 가지 스케일로 그래프 추론을 수행해 가려진 도로 구간을 연결하고, 두 벤치마크에서 APLS 연결성을 약 1포인트 높였다.

중요한 이유

추출된 지도를 경로 계획에 쓸 수 있는지는 픽셀 정확도만이 아니라 도로 연결성이 결정하며, SPIN의 향상 폭은 연결성 지표에서 가장 크다. 이 모듈은 0.03M개의 파라미터만 더하며, 기존 ConvNet의 합성곱 블록 뒤에 끼워 넣을 수 있다. 더 빠른 수렴은 자율주행차를 위한 지도 작성에 필요한 대규모 고해상도 데이터셋에서의 학습 시간을 줄여 준다.

문제

항공 이미지에서 추출한 도로 지도는 자율주행차가 주행 가능 영역을 찾고 모션 플래닝을 제약하는 데 도움이 된다. 도로는 폭이 다양하고 이미지 전반에 걸쳐 갈라지며 나무, 건물, 구름에 자주 가려지는데, 일반 ConvNets는 장거리 의존성을 잘 포착하지 못해 도로 연결성이 끊긴다. 트랜스포머는 그러한 의존성을 포착하지만 대규모 고해상도 이미지에서 높은 계산량과 긴 학습이 필요하다.

제안 방법

SPIN 모듈은 특징 맵으로부터 두 개의 그래프를 만든다. 하나는 공간 위치에 대한 그래프로, 데이터 의존적 유사도 행렬을 사용해 멀리 떨어진 도로 영역을 연결하고, 다른 하나는 투영된 상호작용 공간의 그래프로, 학습된 유사도 행렬을 사용해 도로를 건물, 나무 및 기타 지물과 구분한다. 두 그래프의 출력은 입력 특징에 더해지며, SPIN 피라미드는 이를 1, 1/2, 1/4 스케일에서 적용한다. 전체 네트워크는 잔차 블록, 두 개의 적층 hourglass 모듈, 도로 방향 분기, 그리고 다중 스케일 SoftIoU 및 방향 손실을 사용한다.

핵심 통찰

공간 공간 그래프 추론은 멀리 떨어진 도로 구간을 연결하고, 상호작용 공간 추론은 도로를 다른 토지 피복과 구분한다. 둘을 결합한 것이 각각 단독으로 쓴 것보다 나았다
단 하나의 그래프 합성곱이, 그렇지 않으면 많은 합성곱 층을 쌓아야 하는 장거리 의존성을 포착한다
그래프 추론을 세 가지 스케일에서 수행하면 트랜스포머의 계산 비용 없이 수용 영역이 넓어진다
가장 큰 향상은 그래프 기반 연결성 지표인 APLS에서 나타났으며, 이는 나무와 건물 아래의 도로를 복원한 것과 일치한다
SPIN을 추가하자 학습이 더 빨리 수렴했다. 저자들은 이것이 수렴 속도를 절반만큼 높인다고 밝힌다

주요 결과

Massachusetts Roads: F1 84.47, relaxed IoU 73.12, accurate IoU 65.24, APLS 72.49로 비교한 모든 방법 중 최고였다. 차선은 Batra et al.로 83.97, 72.37, 64.44, 71.34였다
DeepGlobe: F1 84.32, relaxed IoU 72.89, APLS 74.14로 비교한 값 중 최고였다. accurate IoU 67.02는 Batra et al.(67.21)보다 약간 낮았다
차선 방법 대비 APLS 향상은 +1.15(Massachusetts)와 +1.02(DeepGlobe)였다
절제 실험(Table II): ConvNet만 사용 시 APLS 73.01, 공간 추론 73.59, 상호작용 추론 73.52, 전체 SPIN 74.14. Table II는 나머지 두 열을 IoU_a와 F1로 표기하지만, 전체 모델 행(84.32, 67.02)이 Table I의 DeepGlobe F1 및 IoU_a와 일치하므로 이 두 표기는 서로 바뀐 것으로 보인다
SPIN 모듈은 ConvNet에 0.03M개의 파라미터를 추가한다

한계

이 연구는 항공 이미지 지도 작성이다. 자율주행을 위해 위성 및 항공 이미지에서 도로 지도를 추출하며, 실험에 로봇이나 차량은 사용되지 않는다.
논문에 한계를 명시한 절이 없다. DeepGlobe에서 accurate IoU(67.02)는 Batra et al.(67.21)보다 약간 낮았다
부분적으로 가려진 이미지는 성능을 떨어뜨렸기 때문에 Massachusetts 학습 세트에서 제거되었다
가장 강한 베이스라인 대비 향상은 픽셀 지표에서 작으며(F1 0.35–0.5포인트), 주된 개선은 APLS에 있다
더 빠른 수렴이라는 주장은 단 하나의 학습 곡선(Fig. 6)에 근거하며, 실제 소요 시간은 보고되지 않았다

분야에 미친 영향

ICRA 2022 Outstanding Automation Paper 상 최종 후보에 올랐으며, 인용 수는 43회다. 저자들은 코드를 GitHub에 공개했다.

초록

도로 추출은 자율 내비게이션 시스템 구축의 필수 단계다. 도로 구간은 폭이 다양하고, 이미지 전반에 걸쳐 갈라지며, 지형, 구름 또는 기타 기상 조건에 의해 자주 가려지기 때문에 검출하기 어렵다. 이 문제에 합성곱 신경망(ConvNets)만 사용하는 것은 효과적이지 않은데, 도로 연결성을 추출하는 데 필수적인 이미지 내 도로 구간 사이의 먼 의존성을 포착하는 데 비효율적이기 때문이다. 이를 위해 우리는 Spatial and Interaction Space Graph Reasoning(SPIN) 모듈을 제안한다. 이 모듈은 ConvNet에 끼워 넣으면 특징 맵에서 투영한 공간 공간과 상호작용 공간 위에 구성된 그래프에 대해 추론을 수행한다. 공간 공간에 대한 추론은 서로 다른 공간 영역 사이의 의존성과 기타 맥락 정보를 추출한다. 투영된 상호작용 공간에 대한 추론은 이미지에 존재하는 다른 지형으로부터 도로를 적절히 구분하는 데 도움이 된다. 따라서 SPIN은 도로 구간 사이의 장거리 의존성을 추출하고 도로를 다른 의미 요소로부터 효과적으로 구분한다. 우리는 또한 여러 스케일에 걸쳐 SPIN 그래프 추론을 수행하여 다중 스케일 특징을 추출하는 SPIN 피라미드를 도입한다. 우리는 적층 hourglass 모듈과 SPIN 피라미드에 기반한 도로 분할 네트워크를 제안하며, 이는 기존 방법에 비해 더 나은 성능을 달성한다. 또한 우리 방법은 계산 효율이 높고 학습 중 수렴 속도를 크게 높여, 대규모 고해상도 항공 이미지에 적용하는 것을 가능하게 한다. 코드는 https://github.com/wgcban/SPIN_RoadMapper.git 에서 제공된다.

링크

arXiv 2109.07701: https://arxiv.org/abs/2109.07701
DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
PDF: https://arxiv.org/pdf/2109.07701v1
코드: https://github.com/wgcban/SPIN_RoadMapper