MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry

作者: Yuheng Qiu, Yutian Chen, Zihao Zhang, Wenshan Wang, Sebastian Scherer · ICRA 2025

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

MAC-VO 学习逐像素的光流和深度不确定性，将其转换为完整的度量尺度 3D 关键点协方差，并用它们来选择关键点、为两帧位姿优化加权。

为何重要

具有真实度量尺度的协方差能告诉机器人每个位姿估计可信到什么程度，并为 VO 与其他传感器的融合提供一致的基础。MAC-VO 仅靠两帧优化就取得了这些结果，没有使用回环检测或光束法平差，并且无需微调即可从合成训练数据迁移到真实数据集。

问题

视觉里程计在弱光、动态场景和无纹理区域中性能下降。几何 VO 按图像梯度阈值选择关键点，并使用恒定的、手工调节的协方差；而 DROID-SLAM 等基于学习的系统使用尺度无关且为对角形式的置信度权重。这类权重不能反映实际的 3D 误差，在室内与室外尺度之间不一致，也难以与其他传感器结合。

提出的方法

一个共享的匹配网络以 FlowFormer 为基础，带有 GMA 运动聚合器和一个新增的不确定性解码器，预测双目深度、光流及其不确定性；它仅在合成数据集 TartanAir 上以负对数似然损失进行训练。关键点需通过不确定性过滤器（丢弃不确定性高于该帧中位数 1.5× 的像素）、几何过滤器和非极小值抑制。2D 不确定性经针孔模型传播为带有非对角项的完整 3D 协方差，用于为两帧位姿图的残差加权，该位姿图在 PyPose 中以 Levenberg-Marquardt 方法求解。

关键见解

学习到的不确定性可作为关键点选择器，取代 DPVO 的随机选择器或 ORB-SLAM 的手工设计特征：它会剔除位于移动车辆、被遮挡物体、反光表面和无特征区域上的点。
协方差的非对角项很重要：去掉它们（DiagCov）会使 TartanAir v2 Hard 上的平移误差从 0.0141 升至 0.0461 m/frame。
尺度一致性很重要：尺度无关（归一化）的协方差使 TartanAir v2 Hard 上的平移误差升至 0.0204 m/frame，在 Easy 集上从 0.0051 升至 0.0086 m/frame。
匹配点的深度不确定性被估计为其局部图像块内深度的高斯加权方差，从而将光流不确定性与深度误差联系起来。
后端使用稀疏特征，使 GPU 显存保持在 4.20 GB，比 DROID-SLAM（28.34 GB）少 6.7 倍。

主要结果

EuRoC：平均平移误差与 DROID-SLAM 相当，旋转误差比所有基线好约 10%，包括带有回环检测和全局光束法平差的 SLAM 系统。
TartanAir v2 Hard：平移误差比最接近的竞争方法低 61.9%；在月面轨迹 H00 上，平移误差低 82.4%，旋转误差最低。
KITTI：平移误差仅次于 ORB-SLAM3，比其他 VO 方法低 53.3%；旋转误差较弱，作者将其归因于缺少多帧优化。
TartanAir v2 Hard 上的模块消融：完整系统的平移误差为 0.0141 m/frame，而使用随机关键点和单位协方差时为 0.0743，不做协方差优化时为 0.0679，不使用基于不确定性的关键点选择时为 0.0188。
在 Ryzen 9 5950X 搭配 RTX 3090 Ti 上以 640×640 运行的速度：原始为 2.15 fps，使用 TensorRT 和多进程时为 3.96 fps，Fast 模式下为 10.57 fps（Table V；正文中写作 10.5 fps），性能为完整版的 70%；Fast 模式使用半精度，Table V 中写作 bf16，Appendix I 中写作 float16。

局限

作者指出，该方法只进行两帧位姿优化，并预期光束法平差、多帧优化和回环检测能带来提升。
KITTI 上的旋转误差比平移误差弱，作者将其归因于缺少多帧优化。
将协方差模型与 IMU 等其他传感器融合留待未来工作。
完整模型在台式机 RTX 3090 Ti 上以 2.15–3.96 fps 运行；10.5 fps 的 Fast 模式保留了约 70% 的性能。
由视差求深度的近似在视差趋近于零时变差；Monte Carlo 检验表明，在误差率 γ < 0.3 时该近似可以接受。

对领域的影响

该论文获得 IEEE ICRA 2025 最佳会议论文奖和 IEEE ICRA 2025 机器人感知最佳论文奖，被引用 37 次。论文中给出的项目页面（mac-vo.github.io）链接了公开的代码仓库和文档。

摘要

我们提出 MAC-VO，一种新颖的基于学习的双目 VO，它利用学习得到的、具备度量感知的匹配不确定性实现双重用途：选择关键点，以及为位姿图优化中的残差加权。与优先选择边缘等纹理丰富特征的传统几何方法不同，我们的关键点选择器利用学习到的不确定性，基于全局不一致性过滤掉低质量特征。与那些为协方差建模尺度无关对角权重矩阵的基于学习的算法不同，我们设计了一种度量感知的协方差模型，以捕捉关键点配准过程中的空间误差以及不同坐标轴之间的相关性。将该协方差模型整合进位姿图优化，增强了位姿估计的鲁棒性和可靠性，尤其是在光照、特征密度和运动模式不断变化的具有挑战性的环境中。在公开基准数据集上，MAC-VO 在具有挑战性的环境中优于现有 VO 算法，甚至优于一些 SLAM 算法。协方差图还提供了关于所估计位姿可靠性的有价值信息，可有益于自主系统的决策。

链接

arXiv 2409.09479: https://arxiv.org/abs/2409.09479
DOI 10.1109/ICRA55743.2025.11128482: https://doi.org/10.1109/ICRA55743.2025.11128482
PDF: https://arxiv.org/pdf/2409.09479v1
代码: https://github.com/MAC-VO/MAC-VO
项目主页: https://mac-vo.github.io/