NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

저자: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

NGEL-SLAM은 ORB-SLAM3의 추적 및 루프 클로저를 여러 개의 옥트리 기반 신경 서브맵과 결합하여, 루프 클로저 후 조밀한 지도를 다시 학습하는 대신 빠르게 재정렬한다.

중요한 이유

넓은 실내 공간의 조밀한 지도를 만드는 로봇은 루프 클로저 후에도 지도가 일관되게 유지되고 새 키프레임을 빠르게 반영해야 한다. 추적은 특징 기반 시스템에 맡기고 신경 지도를 고정점이 있는 서브맵으로 나누면, 전체 지도를 다시 학습하지 않고도 두 가지를 모두 얻을 수 있다.

문제

iMAP과 NICE-SLAM 같은 신경 암시적 SLAM 시스템은 조밀한 기하 정보를 주지만 신경 지도를 통해 추적하는데, 여기에는 루프 클로저가 없어 큰 장면에서 전역 일관성을 잃는다. 추적기를 전통적인 것으로 바꾸는 것만으로는 이를 해결할 수 없다. 루프 클로저로 자세가 갱신된 뒤 단일 장면 지도를 다시 학습하는 것은 느리고, 지도 작성 네트워크의 느린 수렴도 저지연 지도 작성을 막기 때문이다.

제안 방법

ORB-SLAM3가 추적, 국소 번들 조정, 루프 클로저를 담당하고, 장면은 각각 하나의 키프레임에 고정된 여러 개의 국소 신경 암시적 서브맵으로 저장된다. 전역 번들 조정 후 서브맵은 먼저 고정 자세와 함께 실시간으로 이동한 다음 미세 조정된다. 각 서브맵은 빠른 수렴을 위해 다단계 특징을 희소 옥트리에 저장하고 작은 점유 및 색상 MLP 디코더를 쓴다. 이미지는 픽셀마다 점유 분산 불확실성이 가장 낮은 서브맵을 골라 렌더링한다.

핵심 통찰

• 장면을 고정점이 있는 서브맵으로 표현하면 루프 클로저 보정을 서브맵 자세 갱신으로 적용할 수 있어, 다시 학습하지 않고도 지도 오차 대부분이 제거된다. 이후 미세 조정이 남은 작은 오차를 제거한다.
• 루프 클로저가 있는 특징 기반 추적(ORB-SLAM3)은 TUM RGB-D에서 신경 지도를 통한 추적보다 더 정확했다.
• 희소 옥트리는 공간이 점유된 곳에서만 자라므로, 빠른 수렴을 유지하면서도 조밀한 복셀 격자보다 메모리를 절약한다. 키프레임만 지도화하면 지도 작성 프레임 수와 데이터 I/O가 더 줄어든다.
• 렌더링된 점유 분산은 깊이 오차와는 양의 상관을, PSNR과는 음의 상관을 가지므로, 각 픽셀을 어느 서브맵이 렌더링할지 고르는 기준으로 쓸 수 있다.

주요 결과

• Replica(8개 장면), 추정 자세로 렌더링: 깊이 L1 0.65 cm, PSNR 30.44, SSIM 0.876, LPIPS 0.151로, ESLAM의 2.28 cm, 29.25, 0.855, 0.190과 비교된다. 실제 자세 사용 시: 1.28 cm, 29.53, 0.864, 0.156으로, ESLAM의 2.81 cm, 27.33, 0.836, 0.204와 비교된다.
• TUM RGB-D 추적(ATE RMSE): fr1/desk에서 1.5 cm, fr2/xyz에서 0.5 cm, fr3/office에서 1.0 cm로, ESLAM의 2.5, 1.1, 2.4 cm와 비교된다.
• ScanNet 추적(6개 장면): 평균 ATE RMSE 7.44 cm로, ESLAM 7.50 cm, NICE-SLAM 9.63 cm, iMAP 36.67 cm와 비교된다. 6개 장면 중 3개에서 오차가 가장 낮았다.
• 반복당 지도 작성 시간: 14 ms로, ESLAM 19 ms, NICE-SLAM 130 ms, iMAP 448 ms와 비교되며, 400개 대신 120개의 지도 작성 프레임을 사용한다. Fig. 1 캡션은 이를 NICE-SLAM보다 10x 빠르게 실행되는 것으로 설명한다.
• 메모리: 5.32 MB로, ESLAM 6.79 MB, NICE-SLAM 12.02 MB, iMAP 1.04 MB와 비교된다.
• 지도 미세 조정으로 Replica의 깊이 L1이 1.34 cm에서 1.28 cm로, PSNR이 28.39에서 29.53으로 개선되었다.

한계

• 결론은 시스템의 범위를 실내 장면으로 한정하며, RGB-D 입력 스트림이 필요하다.
• 평가는 기록된 데이터셋(Replica, ScanNet, TUM RGB-D, NICE-SLAM 아파트 시퀀스)만 사용한다. 로봇이나 실시간 센서 배치는 보고되지 않는다.
• ScanNet에서는 6개 장면 중 3개(0106, 0181, 0207)에서 오차가 가장 낮지 않으며, ESLAM 대비 평균 차이는 0.06 cm이다.
• iMAP은 장면을 단일 MLP에 저장하므로 메모리를 더 적게 쓴다(1.04 MB 대 5.32 MB).
• 루프 클로저 처리의 두 번째 단계인 서브맵 미세 조정은 실시간보다 느리게 실행된다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award in Robot Vision 수상작이며 인용 수는 40회다. 논문은 코드나 프로젝트 링크를 제공하지 않는다.

초록

신경 암시적 표현은 SLAM(위치 측정 및 동시 지도화)에서 조밀한 기하 정보를 제공하는 유망한 해법으로 떠올랐다. 그러나 이 방향의 기존 방법은 전역 일관성과 낮은 지연 측면에서 부족하다. 본 논문은 이러한 과제를 해결하기 위해 NGEL-SLAM을 제시한다. 전역 일관성을 보장하기 위해, 우리 시스템은 루프 클로저를 포함하는 전통적인 특징 기반 추적 모듈을 활용한다. 또한 여러 개의 신경 암시적 필드로 장면을 표현하여 전역적으로 일관된 지도를 유지하며, 이를 통해 루프 클로저에 빠르게 맞춰 조정할 수 있다. 더 나아가 우리 시스템은 옥트리 기반 암시적 표현을 사용하여 빠른 수렴을 가능하게 한다. 루프 클로저에 대한 신속한 대응과 빠른 수렴의 결합으로 우리 시스템은 전역 일관성을 달성하는 진정한 저지연 시스템이 된다. 우리 시스템은 고충실도 RGB-D 이미지를 렌더링하고, 조밀하고 완전한 표면을 추출할 수 있다. 합성 데이터셋과 실제 데이터셋 모두에 대한 실험은 우리 시스템이 낮은 지연을 유지하면서 최고 수준의 추적 및 지도 작성 정확도를 달성함을 시사한다.

링크

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1