MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry

作者: Yuheng Qiu, Yutian Chen, Zihao Zhang, Wenshan Wang, Sebastian Scherer · ICRA 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

MAC-VO 學習逐像素的光流與深度不確定性，將其轉換為完整、具公制尺度的 3D 關鍵點共變異數，並用來挑選關鍵點、為兩幀姿態最佳化加權。

為何重要

具有真實公制尺度的共變異數能告訴機器人每個姿態估計值得信任到什麼程度，並為 VO 與其他感測器的融合提供一致的基礎。MAC-VO 只用兩幀最佳化就達成這些結果，沒有使用迴圈閉合或光束法平差，而且不需微調就能從合成訓練資料轉移到真實資料集。

問題

視覺里程計在低光照、動態場景與無紋理區域中會劣化。幾何式 VO 依影像梯度門檻挑選關鍵點，並使用固定、人工調校的共變異數；而 DROID-SLAM 等學習式系統使用的信賴度權重則與尺度無關且只有對角項。這類權重無法反映實際的 3D 誤差，在室內與室外尺度之間不一致，也難以與其他感測器結合。

提出的方法

一個共用的匹配網路以 FlowFormer 為基礎，搭配 GMA 運動聚合器與新增的不確定性解碼器，預測雙目深度、光流及其不確定性；它只在合成資料集 TartanAir 上以負對數概似損失訓練。關鍵點須通過不確定性篩選（捨棄不確定性高於該幀中位數 1.5× 的像素）、幾何篩選與非極小值抑制。2D 不確定性經由針孔模型傳播為含非對角項的完整 3D 共變異數，用來為兩幀姿態圖的殘差加權，此姿態圖在 PyPose 中以 Levenberg-Marquardt 法求解。

關鍵見解

學習到的不確定性可作為關鍵點選擇器，取代 DPVO 的隨機選擇器或 ORB-SLAM 的人工設計特徵：它會移除位於移動車輛、被遮蔽物體、反光表面與無特徵區域上的點。
共變異數的非對角項很重要：拿掉它們（DiagCov）會讓 TartanAir v2 Hard 的平移誤差從 0.0141 升到 0.0461 m/frame。
尺度一致性很重要：尺度無關（正規化）的共變異數讓 TartanAir v2 Hard 的平移誤差升到 0.0204 m/frame，在 Easy 集上則從 0.0051 升到 0.0086 m/frame。
匹配點的深度不確定性，是以其局部區塊內深度的高斯加權變異數來估計，藉此把光流不確定性與深度誤差連結起來。
後端使用稀疏特徵，讓 GPU 記憶體用量維持在 4.20 GB，比 DROID-SLAM（28.34 GB）少 6.7 倍。

主要結果

EuRoC：平均平移誤差與 DROID-SLAM 相當，旋轉誤差比所有基準方法好約 10%，其中包括具有迴圈閉合與全域光束法平差的 SLAM 系統。
TartanAir v2 Hard：平移誤差比最接近的競爭方法低 61.9%；在月球表面軌跡 H00 上，平移誤差低 82.4%，旋轉誤差也最低。
KITTI：平移誤差僅次於 ORB-SLAM3，比其他 VO 方法低 53.3%；旋轉誤差較弱，作者將其歸因於缺少多幀最佳化。
TartanAir v2 Hard 上的模組消融：完整系統的平移誤差為 0.0141 m/frame，相較之下，使用隨機關鍵點與單位共變異數時為 0.0743，不做共變異數最佳化時為 0.0679，不使用以不確定性為基礎的關鍵點挑選時為 0.0188。
在 Ryzen 9 5950X 搭配 RTX 3090 Ti、640×640 解析度下的執行速度：原始為 2.15 fps，使用 TensorRT 與多行程時為 3.96 fps，Fast 模式下為 10.57 fps（Table V；內文寫作 10.5 fps），效能為完整版的 70%；Fast 模式使用半精度，Table V 中標為 bf16，Appendix I 中標為 float16。

限制

作者指出，此方法只執行兩幀姿態最佳化，並預期光束法平差、多幀最佳化與迴圈閉合能帶來改善。
KITTI 上的旋轉誤差比平移誤差弱，作者將其歸因於缺少多幀最佳化。
將共變異數模型與 IMU 等其他感測器融合，留待未來研究。
完整模型在桌上型 RTX 3090 Ti 上以 2.15–3.96 fps 執行；10.5 fps 的 Fast 模式保有約 70% 的效能。
由視差求深度的近似在視差趨近於零時會變差；Monte Carlo 檢驗顯示，在誤差率 γ < 0.3 時此近似可以接受。

對領域的影響

這篇論文獲得 IEEE ICRA 2025 最佳會議論文獎與 IEEE ICRA 2025 機器人感知最佳論文獎，被引用 37 次。論文中列出的專案頁面（mac-vo.github.io）連結了公開的程式碼儲存庫與說明文件。

摘要

我們提出 MAC-VO，一種新穎的以學習為基礎的雙目 VO，利用學習而得、具度量感知的匹配不確定性達成雙重用途：挑選關鍵點，以及為姿態圖最佳化中的殘差加權。相較於偏重邊緣等紋理豐富特徵的傳統幾何方法，我們的關鍵點選擇器運用學習到的不確定性，依據全域不一致性濾除低品質特徵。相較於那些以尺度無關的對角權重矩陣建模共變異數的學習式演算法，我們設計了一種度量感知的共變異數模型，以捕捉關鍵點對位過程中的空間誤差以及不同座標軸之間的相關性。將此共變異數模型整合到姿態圖最佳化中，可提升姿態估計的穩健性與可靠性，特別是在照明、特徵密度與運動模式不斷變化的嚴苛環境中。在公開的基準資料集上，MAC-VO 在嚴苛環境中勝過現有的 VO 演算法，甚至勝過部分 SLAM 演算法。共變異數圖也提供了關於所估計姿態可靠性的寶貴資訊，有助於自主系統的決策。

連結

arXiv 2409.09479: https://arxiv.org/abs/2409.09479
DOI 10.1109/ICRA55743.2025.11128482: https://doi.org/10.1109/ICRA55743.2025.11128482
PDF: https://arxiv.org/pdf/2409.09479v1
程式碼: https://github.com/MAC-VO/MAC-VO
專案頁面: https://mac-vo.github.io/