LONER: LiDAR Only Neural Representations for Real-Time SLAM

저자: Seth Isaacson, Pou-Chun Kung, Mani Ramanagopal, Ram Vasudevan, Katherine A. Skinner · RA-L 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

신경 암묵 지도를 사용하는 실시간 LiDAR 단독 SLAM: ICP 추적, 키프레임에 대한 자세와 지도의 공동 최적화, 그리고 더 빠르고 선명한 온라인 학습을 위한 JS 발산 기반 동적 마진 손실.

중요한 이유

LiDAR만으로 센서 궤적과 고밀도 지도를 실시간으로 함께 추정하며, 지도는 오프라인에서 새로운 시점의 깊이 이미지나 메시로 렌더링할 수 있다. 논문은 동적 마진 손실을 깊이 지도 신경 암묵 프레임워크에서 쓰이는 다른 손실들과 비교 시험하여, 더 빨리 수렴하고 기하를 더 정확하게 재구성함을 확인한다.

문제

신경 암묵 지도는 어디서든 점유 여부를 질의할 수 있는 연속 장면 모델을 제공하지만, 기존 LiDAR 암묵 매핑 방법은 실제 자세가 필요하거나 실시간보다 느리게 실행되며, 실시간 신경 SLAM 시스템은 RGB 또는 RGB-D 카메라를 사용하고 주로 실내에서 작동한다. 온라인 학습 중에는 지도 영역마다 학습 정도가 다르므로, LOS 손실처럼 모든 광선에 단일 마진을 쓰면 네트워크가 학습한 기하를 잊고 느리게 수렴한다.

제안 방법

LONER는 추적과 매핑 스레드를 병렬로 실행한다: 추적은 스캔을 5 Hz로 솎아 내고 IMU 없이 점-평면 ICP로 오도메트리를 추정한다; 매핑은 3 s마다 키프레임을 추가하고, 계층적 특징 격자를 가진 MLP와 키프레임 8개(현재 키프레임과 무작위 과거 키프레임)의 자세를 공동 최적화한다. 손실은 지도가 잘 학습되지 않은 곳에서는 각 광선에 더 큰 마진을, 잘 학습된 곳에서는 더 작은 마진을 주는 Jensen-Shannon 동적 마진 손실에, 가중치를 낮춘 깊이 손실과 LiDAR 반환의 구멍으로부터 찾은 하늘 손실을 결합한다.

핵심 통찰

• 목표 광선 종료 분포와 예측 광선 종료 분포 사이의 JS 발산으로 각 광선의 마진을 정하면, 새 영역은 빠르게 학습하면서 이미 학습된 기하는 선명하게 유지된다.
• 깊이 손실만 쓰면 제한된 학습 시간에서 기하가 흐릿해지지만 구멍 메우기에는 도움이 되므로, 작은 가중치(λ₁ = 5 × 10⁻⁶)로 유지한다.
• 추적에 inverse-NeRF 대신 ICP를 쓰면 매핑에 쓸 GPU 시간을 아껴 시스템이 실시간으로 유지된다; 이후 매핑 단계가 ICP 자세를 정밀화한다.
• 하늘 광선은 카메라 없이, 초기화 시 센서가 대략 수평이라고 가정하고 LiDAR 깊이 이미지에서 수평선 위를 가리키는 구멍으로부터 찾는다.
• 최적화 창에 과거 키프레임을 무작위로 고르는 것이, 최근 키프레임만 쓰거나 절반은 최근, 절반은 무작위로 섞는 것보다 대체로 더 잘 작동한다.

주요 결과

• 궤적 RMS 절대 자세 오차(m), LONER 대 LeGO-LOAM: MCR 0.029 대 0.052, Canteen 0.064 대 0.129, Garden 0.056 대 0.161, Quad 0.130 대 0.126.
• 더 많은 샘플과 반복을 쓰는 오프라인 구성으로 실행한 NICE-SLAM은 작은 MCR 시퀀스(0.248 m)만 추적했고 Canteen과 Garden에서는 실패했다.
• 실내 MCR 시퀀스의 지도 품질, LONER 대 SHINE Mapping(실제 자세 사용): 정확도 0.186 대 0.164 m, 완성도 0.069 대 0.075 m, 정밀도 0.473 대 0.624, 재현율 0.932 대 0.757; Quad에서는 정확도 0.380 대 0.301 m, 완성도 0.373 대 0.148 m, 정밀도 0.327 대 0.453, 재현율 0.809 대 0.717.
• AMD Ryzen 5950X CPU와 NVIDIA A6000 GPU에서의 실행 시간: 추적 스텝당 14 ms; 키프레임당 매핑 반복 50회에 2.79 s(각 약 56 ms, 약 18 Hz)로, 3 s 키프레임 간격 안에 든다.
• 손실 절제 실험(Table V), Quad 시퀀스: 전체 시스템 L1 깊이 0.880, 자세 오차 0.130 m; 깊이 손실만 쓰면 2.265와 0.779, 깊이와 고정 감쇠 LOS 손실이면 1.747과 0.570, 깊이 손실 없는 동적 마진 LOS면 2.262와 0.154.
• 단일 CARLA 시뮬레이터 스캔으로 학습했을 때, JS 손실은 느린, 중간, 빠른 마진 감쇠의 LOS 손실들과 깊이 손실 단독보다 더 빨리 낮은 깊이 오차에 도달했다.

한계

• 동적 물체는 다루지 않는다; 테스트 시퀀스는 동적 물체가 적도록 골랐으며, 저자들은 동적 요소가 많은 환경에는 추가 연구가 필요하다고 말한다.
• 관성 데이터는 사용하지 않는다; 저자들은 빠른 회전 상황이나 LiDAR 정보가 적은 특징이 드문 장면에서 관성 데이터가 추적에 도움이 될 수 있다고 언급한다.
• 도시 규모 운용에는 다른 입력 특징 임베딩과 광선 선택 휴리스틱이 필요할 수 있다(저자들이 밝힘).
• 지도는 기하 정보만 담는다; 실시간 성능을 잃지 않고 RGB를 추가하는 것은 향후 과제이다(저자들이 밝힘).
• 실외 Quad 시퀀스에서는 SHINE Mapping(실제 자세 사용)이 LONER가 빠뜨린 기둥까지 포착하여 더 완전한 기하를 만들었고, LeGO-LOAM의 궤적 오차가 약간 더 낮았다.

분야에 미친 영향

RA-L 2024 Best Paper Award 수상작이며 인용 수는 56회이다. 저자들은 전체 평가 데이터를 프로젝트 페이지에 게시하며, 이 페이지는 코드 저장소도 링크한다.

초록

본 논문은 신경 암묵 장면 표현을 사용하는 최초의 실시간 LiDAR SLAM 알고리즘인 LONER를 제안한다. LiDAR를 위한 기존 암묵 매핑 방법은 대규모 재구성에서 유망한 결과를 보이지만, 실제 자세가 필요하거나 실시간보다 느리게 실행된다. 이와 달리 LONER는 LiDAR 데이터로 MLP를 학습시켜 실시간으로 고밀도 지도를 추정하는 동시에 센서의 궤적을 추정한다. 실시간 성능을 달성하기 위해, 본 논문은 온라인 학습 동안 지도의 서로 다른 영역이 서로 다른 정도로 학습될 수 있다는 사실을 고려하는 새로운 정보 이론적 손실 함수를 제안한다. 제안 방법은 두 개의 오픈 소스 데이터셋에서 정성적, 정량적으로 평가된다. 이 평가는 제안한 손실 함수가 깊이 지도 신경 암묵 프레임워크에서 사용되는 다른 손실 함수보다 더 빨리 수렴하고 더 정확한 기하 재구성으로 이어짐을 보여준다. 마지막으로, 본 논문은 LONER가 최신 LiDAR SLAM 방법에 견줄 만한 궤적을 추정하는 동시에, 실제 자세를 사용하는 기존 실시간 암묵 매핑 방법에 견줄 만한 고밀도 지도를 생성함을 보인다.

링크

• arXiv 2309.04937: https://arxiv.org/abs/2309.04937
• DOI 10.1109/LRA.2023.3324521: https://doi.org/10.1109/LRA.2023.3324521
• PDF: https://arxiv.org/pdf/2309.04937v1
• 코드: https://github.com/umautobots/LONER
• 프로젝트 페이지: https://umautobots.github.io/loner