SuMa++: Efficient LiDAR-based Semantic SLAM

저자: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

SuMa++는 서펠 기반 LiDAR SLAM에 RangeNet++의 점별 의미 레이블을 추가하고, 이를 이용해 지도에서 움직이는 물체를 제거하고 ICP 잔차에 가중치를 부여한다.

중요한 이유

이 방법은 카메라 없이 LiDAR만 필요하며, 의미 정보를 지도 정리와 이상치에 강인한 정합 양쪽에 사용한다. KITTI에서는 또한 이동 가능한 모든 클래스를 제거하면 도심 장면에서 SLAM이 발산할 수 있음을 보여 주었는데, 이는 클래스만으로 동적 물체를 거르는 모든 사람에게 구체적인 경고가 된다.

문제

기하 정보에만 의존하는 LiDAR SLAM은 일관되게 움직이는 물체에 고정될 수 있으며, 이는 지도와 자세 추정을 손상시킨다. 정적 구조물이 적고 움직이는 차량이 많은 고속도로가 가장 어려운 경우이다. 잠재적으로 이동 가능한 모든 클래스를 제거하는 것은 거친 해결책인데, 스캔 정합에 유용한 특징인 주차된 차량까지 버리기 때문이다.

제안 방법

SuMa++는 각 스캔의 구면 투영에 RangeNet++를 실행하여 모든 점에 레이블을 붙이고, 침식 후 깊이 일관성 있는 플러드 필로 역투영 레이블 아티팩트를 줄이며, 각 서펠에 레이블과 그 확률을 저장한다. 레이블이 새 관측과 일치하지 않는 서펠은 안정성 로그 오즈에 페널티를 받고 여러 번의 관측 후 제거되며, 프레임-모델 ICP는 각 잔차에 Huber 항, 스캔과 지도 레이블의 의미 호환성, 서펠 안정성으로 가중치를 부여한다.

핵심 통찰

• 스캔과 지도 사이의 의미 불일치로 거르면 실제로 움직인 물체는 제거하면서, 유용한 정합 특징인 주차된 차량은 유지한다.
• 이동 가능한 모든 클래스를 제거하면(SuMa nomovable) 서펠 지도가 더 희소해지고 도심 KITTI 시퀀스에서 발산이 일어났는데, 부분적으로는 잘못된 레이블이 정적 서펠을 제거했기 때문이다.
• 침식(erosion) 후 깊이 일관성 있는 플러드 필(flood-fill)을 적용하면, 2D 거리 이미지 예측을 3D 점으로 역투영할 때 생기는 레이블 오류가 줄어든다.
• ICP의 의미 가중치는 스캔과 지도 레이블이 일치하지 않는 잔차, 예를 들어 이미 지도에서 걸러진 움직이는 차량 위의 잔차에 낮은 가중치를 준다.

주요 결과

• KITTI 도로 시퀀스 30–41(5–400 m 구간, 회전 오차 °/100 m / 병진 오차 %): SuMa 1.35/6.13, SuMa nomovable 1.17/1.46, SuMa++ 1.04/1.46.
• 고속도로 시퀀스 35: 병진 오차가 26.8%(SuMa)에서 1.11%(SuMa++)로 떨어졌다. 시퀀스 40은 18.0%에서 1.95%로, 시퀀스 41은 15.6%에서 1.67%로 떨어졌다.
• KITTI 오도메트리 학습 시퀀스 00–10(100–800 m 구간): SuMa++ 0.29/0.70, SuMa 0.36/0.83. IMLS-SLAM은 병진 오차 0.55%, LOAM은 0.84%를 보고한다.
• KITTI 오도메트리 테스트 세트(서버 측 평가): 병진 오차 1.06%로 SuMa의 1.39%보다 낮으며, 회전 오차는 둘 다 0.0032 deg/m이다.
• Nvidia Quadro P4000을 갖춘 Intel Xeon W-2123에서의 시간: 스캔당 평균 RangeNet++ 레이블에 75 ms, 서펠 지도 작성에 48 ms가 걸리며, 루프 클로저를 통합할 때는 최대 190 ms이다.

한계

• 동적 물체는 첫 관측에서 걸러낼 수 없다. 첫 스캔에 움직이는 물체가 많으면 이 방법은 실패하므로, 초기화 기간 동안에는 이동 가능한 모든 클래스를 제거한다(저자들이 밝힌 한계).
• 이동 가능한 클래스에만 페널티를 준다. 시점에 따라 모양이 바뀌는 식생은 의도적으로 유지된다.
• 플러드 필 후에도 분할 오류가 남아 실제로는 정적인 서펠을 제거할 수 있다.
• 도로 시퀀스에서 SuMa++는 이동 가능 클래스를 모두 제거하는 기준선과 비슷한 성능을 보이며, 여러 시퀀스(33, 36, 37, 39, 40, 41)에서는 병진 오차가 적어도 하나의 기준선보다 높다.
• 평가는 하나의 센서(Velodyne HDL-64E S2)로 얻은 KITTI 데이터만 사용한다. 의미 정보는 루프 클로저에 사용되지 않으며, 저자들은 이를 향후 과제로 제시한다.

분야에 미친 영향

인용 584회(제시된 수치). 저자들은 소스 코드를 https://github.com/PRBonn/semantic_suma/ 에 공개했다.

초록

신뢰할 수 있고 정확한 위치 추정과 지도 작성은 대부분의 자율 시스템의 핵심 구성 요소이다. 지도로 작성된 환경에 대한 기하 정보 외에도, 의미 정보는 지능적인 주행 행동을 가능하게 하는 데 중요한 역할을 한다. 대부분의 현실적인 환경에서 이 작업은 움직이는 물체로 인한 동적 요소 때문에 특히 복잡해지는데, 이는 지도 작성 단계를 손상시키거나 위치 추정을 탈선시킬 수 있다. 본 논문에서는 3차원 레이저 거리 스캔을 활용하는 최근 발표된 서펠 기반 지도 작성 방법을 확장하여, 의미 정보를 통합해 지도 작성 과정을 돕는 방법을 제안한다. 의미 정보는 완전 합성곱 신경망으로 효율적으로 추출되며, 레이저 거리 데이터의 구면 투영 위에 렌더링된다. 이렇게 계산된 의미 분할은 스캔 전체에 대한 점 단위 레이블을 제공하며, 이를 통해 레이블이 붙은 서펠로 의미적으로 풍부해진 지도를 구축할 수 있다. 이 의미 지도는 움직이는 물체를 신뢰성 있게 걸러낼 수 있게 할 뿐 아니라, 의미 제약을 통해 투영 스캔 매칭을 개선한다. 정적 구조물이 매우 적고 움직이는 차량이 많은 KITTI 데이터셋의 까다로운 고속도로 시퀀스에서 수행한 실험 평가는, 순수 기하 기반의 최신 방법과 비교하여 우리의 의미 SLAM 방법의 장점을 보여 준다.

링크

• arXiv 2105.11320: https://arxiv.org/abs/2105.11320
• DOI 10.1109/IROS40897.2019.8967704: https://doi.org/10.1109/IROS40897.2019.8967704
• PDF: https://arxiv.org/pdf/2105.11320v1
• 코드: https://github.com/PRBonn/semantic_suma/