H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

저자: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

옥트리에 저장한 거친 SDF와 해시 인코딩된 잔차를 결합하여, NeRF 방식의 RGB-D 매핑을 휴대용 장비와 쿼드로터에 탑재된 Jetson Orin 보드에서 온보드로 실행한다.

중요한 이유

Jetson급 컴퓨터만 가진 로봇도 나중에 오프라인으로 재구성하는 대신, 움직이면서 텍스처가 입혀진 고밀도 지도를 만들 수 있다. 이 방법은 외부 추적기에서 자세를 받으므로 기존 시각-관성 오도메트리 스택 뒤에 붙일 수 있으며, 저자들은 수정된 VINS-Mono와 RealSense L515로 이를 보인다.

문제

NICE-SLAM과 Vox-Fusion 같은 NeRF 기반 매퍼는 간결한 지도를 만들고 새로운 시점을 렌더링할 수 있지만, 암묵적 특징을 최적화하는 데 오래 걸려 AGX Orin에서조차 실시간으로 실행할 수 없다. 명시적 지도(점유 격자, TSDF, 서펠, 메시)는 빠르지만 세밀한 디테일에는 많은 메모리가 필요하고 사실적인 새로운 시점을 렌더링할 수 없다.

제안 방법

거친 기하는 희소 복셀 옥트리(10 cm 리프 복셀)의 꼭짓점에 SDF 값으로 명시적으로 저장되며, 각 꼭짓점을 깊이 이미지에 투영하여 초기화한다; 작은 MLP를 갖춘 다중 해상도 해시 인코딩은 잔차 SDF와 색상만 학습한다. 표면이 사라지지 않도록 점이 복셀 모서리에 놓이면 복셀을 확장하고, 아직 최적화되지 않은 복셀을 최대한 많이 커버하도록 키프레임을 고르며, 손실이 더 이상 개선되지 않으면 최적화를 일찍 멈춘다.

핵심 통찰

복셀 꼭짓점을 단일 깊이 이미지에 투영하는 것만으로도 쓸 만한 거친 SDF를 얻으므로, 첫 반복부터 기하가 거의 맞는다
해시 인코딩이 잔차 SDF만 학습하게 하는 것은 전체 SDF를 학습하는 것보다 쉬우며, 같은 반복 횟수에서 정확도와 렌더링 품질을 모두 높인다
역투영된 점들이 모두 복셀 모서리에 놓일 때 복셀을 하나 더 할당하면, 0에 가까운 SDF 값이 최적화 중 부호가 바뀌어 생기는 구멍을 막을 수 있다
아직 최적화되지 않은 복셀을 가장 많이 커버하도록 키프레임을 고르고 모두 커버되면 초기화하면, 학습 샘플을 늘리지 않고도 천장처럼 잘 보이지 않는 영역이 개선된다

주요 결과

Replica(8개 장면, 실제 자세 사용): 평균 Depth L1 0.42 cm, Vox-Fusion 0.71 cm, NICE-SLAM 1.16 cm; 완성 비율(<5 cm) 99.25%, 98.55%, 97.09%
Replica 렌더링: 학습 시점 평균 PSNR 34.49 dB, 먼 새로운 시점 30.21 dB; Vox-Fusion 31.48 / 27.34 dB, NICE-SLAM 30.55 / 28.08 dB
Replica Room0의 평균 프레임 처리 시간: RTX 4090에서 0.05 s, AGX Orin에서 0.36 s, Orin NX에서 0.66 s; Vox-Fusion은 0.34 / 1.68 / 3.52 s, NICE-SLAM은 2.69 / 13.01 / 19.03 s
절제 실험(Table III): 키프레임 전략을 제거하면 PSNR이 34.49에서 33.65 dB로 떨어지고 정확도가 1.12에서 1.28 cm로 나빠진다; 복셀 확장을 제거하면 완성 비율이 99.25%에서 98.52%로 떨어진다
완전 온보드 실제 환경 실행: 휴대용 AGX Orin 장비로 메시 표면 약 127 m²의 아파트를, Orin NX를 실은 쿼드로터로 약 58 m²의 비행 경기장 일부를 매핑했다

한계

저자들은 이 방법이 동적 물체를 다룰 수 없다고 밝힌다
저자들은 장기적인 자세 드리프트를 다룰 수 없다고 밝힌다
저자들은 추가적인 속도 향상이 여전히 필요하다고 밝힌다
매핑 모듈일 뿐이다: 자세는 별도의 추적기에서 와야 하며, 벤치마크 비교는 모든 방법에 실제 자세를 사용한다
ScanNet 결과는 정성적일 뿐인데, 이 데이터셋에는 실제 메시가 없기 때문이다

분야에 미친 영향

RA-L 2024 Best Paper Award를 받았으며 인용 수는 58회이다. 논문은 코드가 github.com/SYSU-STAR/H2-Mapping 에서 공개될 것이라고 밝힌다.

초록

고품질 고밀도 지도를 실시간으로 구축하는 것은 로봇공학, AR/VR, 디지털 트윈 응용에 필수적이다. Neural Radiance Field(NeRF)가 매핑 성능을 크게 향상시킴에 따라, 본 논문에서는 엣지 컴퓨터에서도 더 높은 품질의 재구성과 실시간 성능을 가능하게 하는 NeRF 기반 매핑 방법을 제안한다. 구체적으로, 명시적 옥트리 SDF 사전 정보의 도움을 받는 암묵적 다중 해상도 해시 인코딩을 활용하여 장면을 서로 다른 세부 수준으로 기술하는 새로운 계층적 하이브리드 표현을 제안한다. 이 표현은 장면 기하의 빠른 초기화를 가능하게 하고 장면 기하를 더 쉽게 학습하게 한다. 또한 망각 문제를 해결하고, 특히 가장자리 영역에서 매핑 품질을 높이기 위해 커버리지를 최대화하는 키프레임 선택 전략을 제시한다. 우리가 아는 한, 우리의 방법은 휴대용 장치와 쿼드로터의 엣지 컴퓨터에서 고품질 NeRF 기반 매핑을 실시간으로 달성한 최초의 방법이다. 실험 결과 우리의 방법은 기하 정확도, 텍스처 사실감, 소요 시간에서 기존 NeRF 기반 매핑 방법을 능가한다. 코드는 다음 주소에서 공개될 예정이다: https://github.com/SYSU-STAR/H2-Mapping

링크

arXiv 2306.03207: https://arxiv.org/abs/2306.03207
DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
PDF: https://arxiv.org/pdf/2306.03207v1
코드: https://github.com/SYSU-STAR/H2-Mapping