MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry

저자: Yuheng Qiu, Yutian Chen, Zihao Zhang, Wenshan Wang, Sebastian Scherer · ICRA 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

MAC-VO는 픽셀별 광학 흐름 및 깊이 불확실성을 학습하고, 이를 완전한 미터 단위 3D 키포인트 공분산으로 변환하여 키포인트 선택과 두 프레임 포즈 최적화의 가중치 부여에 사용한다.

중요한 이유

실제 미터 스케일을 가진 공분산은 로봇이 각 포즈 추정을 얼마나 신뢰해야 하는지 알려 주며, VO를 다른 센서와 융합하기 위한 일관된 기반을 제공한다. MAC-VO는 루프 클로저나 번들 조정 없이 두 프레임 최적화만으로 이러한 결과에 도달하며, 미세 조정 없이 합성 학습 데이터에서 실제 데이터셋으로 전이된다.

문제

시각 오도메트리는 저조도, 동적 장면, 텍스처가 없는 영역에서 성능이 저하된다. 기하학적 VO는 이미지 기울기 임계값으로 키포인트를 선택하고 수작업으로 조정한 상수 공분산을 사용하는 반면, DROID-SLAM 같은 학습 시스템은 스케일에 무관하고 대각인 신뢰도 가중치를 사용한다. 이러한 가중치는 실제 3D 오차를 반영하지 않고, 실내와 실외 스케일 사이에서 일관되지 않으며, 다른 센서와 결합하기 어렵다.

제안 방법

GMA 움직임 집계기와 추가된 불확실성 디코더를 갖춘 FlowFormer 기반의 공유 매칭 네트워크가 스테레오 깊이, 광학 흐름 및 그 불확실성을 예측하며, 합성 데이터셋 TartanAir만으로 음의 로그 가능도 손실을 사용해 학습된다. 키포인트는 불확실성 필터(프레임 중앙값 불확실성의 1.5×를 초과하는 픽셀 제거), 기하학적 필터, 비최소 억제(non-minimum suppression)를 통과한다. 2D 불확실성은 핀홀 모델을 통해 비대각 항을 포함하는 완전한 3D 공분산으로 전파되며, 이 공분산이 PyPose에서 Levenberg-Marquardt로 푸는 두 프레임 포즈 그래프의 잔차에 가중치를 부여한다.

핵심 통찰

• 학습된 불확실성은 DPVO의 무작위 선택기나 ORB-SLAM의 수작업 특징을 대신하는 키포인트 선택기로 작동한다. 움직이는 차량, 가려진 물체, 반사 표면, 특징이 없는 영역 위의 점을 제거한다.
• 비대각 공분산 항은 중요하다. 이를 제거하면(DiagCov) TartanAir v2 Hard의 병진 오차가 0.0141에서 0.0461 m/frame으로 증가했다.
• 스케일 일관성은 중요하다. 스케일에 무관한(정규화된) 공분산은 TartanAir v2 Hard에서 병진 오차를 0.0204 m/frame으로 높였고, Easy 세트에서는 0.0051에서 0.0086 m/frame으로 높였다.
• 매칭된 점의 깊이 불확실성은 국소 패치 내 깊이의 가우시안 가중 분산으로 추정되며, 이를 통해 광학 흐름 불확실성과 깊이 오차가 연결된다.
• 백엔드에서 희소 특징을 사용하면 GPU 메모리가 4.20 GB로 유지되며, 이는 DROID-SLAM(28.34 GB)보다 6.7배 적다.

주요 결과

• EuRoC: 평균 병진 오차는 DROID-SLAM과 비슷하고, 회전 오차는 루프 클로저와 전역 번들 조정을 갖춘 SLAM 시스템을 포함한 모든 기준선보다 약 10% 우수하다.
• TartanAir v2 Hard: 가장 가까운 경쟁자보다 병진 오차가 61.9% 낮다. 달 표면 궤적 H00에서는 병진 오차가 82.4% 낮고 회전 오차가 가장 낮다.
• KITTI: 병진 오차에서 ORB-SLAM3 다음으로 두 번째이며, 다른 VO 방법보다 병진 오차가 53.3% 낮다. 회전 오차는 더 약한데, 저자들은 이를 다중 프레임 최적화의 부재 탓으로 본다.
• TartanAir v2 Hard에서의 모듈 절제 실험: 병진 오차는 전체 시스템에서 0.0141 m/frame인 반면, 무작위 키포인트와 단위 공분산을 사용하면 0.0743, 공분산 최적화가 없으면 0.0679, 불확실성 기반 키포인트 선택이 없으면 0.0188이다.
• Ryzen 9 5950X와 RTX 3090 Ti에서 640×640 기준 실행 속도: 원본 2.15 fps, TensorRT와 멀티프로세싱 사용 시 3.96 fps, Fast 모드에서 10.57 fps(Table V, 본문에는 10.5 fps로 기재)이며 전체 성능의 70% 수준이다. Fast 모드는 반정밀도를 사용하며, Table V에는 bf16, Appendix I에는 float16으로 표기되어 있다.

한계

• 저자들은 이 방법이 두 프레임 포즈 최적화만 수행한다는 점을 언급하며, 번들 조정, 다중 프레임 최적화, 루프 클로저로부터 성능 향상을 기대한다.
• KITTI에서의 회전 오차는 병진 오차보다 약하며, 저자들은 이를 다중 프레임 최적화의 부재 탓으로 본다.
• 공분산 모델을 IMU 같은 다른 센서와 융합하는 것은 향후 과제로 남겨 두었다.
• 전체 모델은 데스크톱 RTX 3090 Ti에서 2.15–3.96 fps로 실행된다. 10.5 fps의 Fast 모드는 성능의 약 70%를 유지한다.
• 시차로부터의 깊이 근사는 시차가 0에 가까워질수록 나빠진다. 몬테카를로 검사에 따르면 오차율 γ < 0.3에서는 허용 가능한 수준이다.

분야에 미친 영향

이 논문은 IEEE ICRA 2025 Best Conference Paper Award와 IEEE ICRA 2025 Best Paper Award on Robot Perception을 수상했으며, 인용 횟수는 37회이다. 논문에 명시된 프로젝트 페이지(mac-vo.github.io)는 공개 코드 저장소와 문서로 연결된다.

초록

우리는 학습된 메트릭 인식(metrics-aware) 매칭 불확실성을 두 가지 목적, 즉 키포인트 선택과 포즈 그래프 최적화에서의 잔차 가중에 활용하는 새로운 학습 기반 스테레오 VO인 MAC-VO를 제안한다. 에지와 같이 텍스처가 풍부한 특징을 우선시하는 기존 기하학적 방법과 달리, 우리의 키포인트 선택기는 학습된 불확실성을 사용하여 전역적 불일치를 기준으로 품질이 낮은 특징을 걸러낸다. 공분산에 대해 스케일에 무관한 대각 가중치 행렬을 모델링하는 학습 기반 알고리즘과 달리, 우리는 키포인트 정합 중의 공간적 오차와 서로 다른 축 사이의 상관관계를 포착하는 메트릭 인식 공분산 모델을 설계한다. 이 공분산 모델을 포즈 그래프 최적화에 통합하면, 특히 조명, 특징 밀도, 움직임 패턴이 변하는 까다로운 환경에서 포즈 추정의 강건성과 신뢰성이 향상된다. 공개 벤치마크 데이터셋에서 MAC-VO는 까다로운 환경에서 기존 VO 알고리즘은 물론 일부 SLAM 알고리즘보다도 우수한 성능을 보인다. 공분산 맵은 또한 추정된 포즈의 신뢰성에 관한 귀중한 정보를 제공하며, 이는 자율 시스템의 의사 결정에 도움이 될 수 있다.

링크

• arXiv 2409.09479: https://arxiv.org/abs/2409.09479
• DOI 10.1109/ICRA55743.2025.11128482: https://doi.org/10.1109/ICRA55743.2025.11128482
• PDF: https://arxiv.org/pdf/2409.09479v1
• 코드: https://github.com/MAC-VO/MAC-VO
• 프로젝트 페이지: https://mac-vo.github.io/