MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry

Autoren: Yuheng Qiu, Yutian Chen, Zihao Zhang, Wenshan Wang, Sebastian Scherer · ICRA 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

MAC-VO lernt pixelweise Unsicherheiten für optischen Fluss und Tiefe, wandelt sie in vollständige metrische 3D-Keypoint-Kovarianzen um und nutzt diese, um Keypoints auszuwählen und die Zwei-Frame-Posenoptimierung zu gewichten.

Warum es wichtig ist

Kovarianzen mit echter metrischer Skala sagen einem Roboter, wie weit er jeder Posenschätzung trauen kann, und bieten eine konsistente Grundlage, um VO mit anderen Sensoren zu fusionieren. MAC-VO erreicht seine Ergebnisse allein mit Zwei-Frame-Optimierung, ohne Loop Closure oder Bundle Adjustment, und überträgt sich ohne Fine-Tuning von synthetischen Trainingsdaten auf reale Datensätze.

Problem

Visuelle Odometrie verschlechtert sich bei schwachem Licht, in dynamischen Szenen und in texturlosen Bereichen. Geometrische VO wählt Keypoints über Schwellwerte des Bildgradienten aus und verwendet konstante, von Hand abgestimmte Kovarianzen, während gelernte Systeme wie DROID-SLAM Konfidenzgewichte verwenden, die skalenagnostisch und diagonal sind. Solche Gewichte spiegeln den tatsächlichen 3D-Fehler nicht wider, sind zwischen Innen- und Außenmaßstäben inkonsistent und lassen sich schwer mit anderen Sensoren kombinieren.

Lösungsansatz

Ein gemeinsames Matching-Netzwerk, aufgebaut auf FlowFormer mit einem GMA-Bewegungsaggregator und einem zusätzlichen Unsicherheitsdecoder, sagt Stereotiefe, optischen Fluss und deren Unsicherheiten voraus; es wird mit einem Negative-Log-Likelihood-Verlust ausschließlich auf dem synthetischen Datensatz TartanAir trainiert. Keypoints durchlaufen einen Unsicherheitsfilter (Pixel über dem 1,5× der medianen Unsicherheit des Frames werden verworfen), einen geometrischen Filter und eine Non-Minimum-Suppression. Die 2D-Unsicherheiten werden über das Lochkameramodell in eine vollständige 3D-Kovarianz mit außerdiagonalen Termen propagiert, die die Residuen eines Zwei-Frame-Posengraphen gewichtet, der mit Levenberg-Marquardt in PyPose gelöst wird.

Wichtigste Erkenntnisse

Gelernte Unsicherheit dient als Keypoint-Selektor anstelle des Zufallsselektors von DPVO oder der handgefertigten Merkmale von ORB-SLAM: Sie entfernt Punkte auf fahrenden Fahrzeugen, verdeckten Objekten, spiegelnden Oberflächen und merkmalsarmen Bereichen.
Außerdiagonale Kovarianzterme sind wichtig: Ihr Weglassen (DiagCov) erhöhte den Translationsfehler auf TartanAir v2 Hard von 0,0141 auf 0,0461 m/frame.
Skalenkonsistenz ist wichtig: Eine skalenagnostische (normalisierte) Kovarianz erhöhte den Translationsfehler auf TartanAir v2 Hard auf 0,0204 m/frame und auf dem Easy-Set von 0,0051 auf 0,0086 m/frame.
Die Tiefenunsicherheit eines gematchten Punkts wird als gaußgewichtete Varianz der Tiefe in seinem lokalen Patch geschätzt, was die Flussunsicherheit mit dem Tiefenfehler verknüpft.
Die Verwendung dünnbesetzter Merkmale im Backend hält den GPU-Speicher bei 4,20 GB, 6,7-mal weniger als DROID-SLAM (28,34 GB).

Hauptergebnisse

EuRoC: mittlerer Translationsfehler vergleichbar mit DROID-SLAM und ein um etwa 10 % besserer Rotationsfehler als alle Baselines, einschließlich SLAM-Systemen mit Loop Closure und globalem Bundle Adjustment.
TartanAir v2 Hard: 61,9 % geringerer Translationsfehler als der nächste Konkurrent; auf der Mondoberflächen-Trajektorie H00 82,4 % geringerer Translationsfehler und der niedrigste Rotationsfehler.
KITTI: beim Translationsfehler nur hinter ORB-SLAM3 und 53,3 % geringerer Translationsfehler als andere VO-Methoden; der Rotationsfehler ist schwächer, was die Autoren auf das Fehlen einer Multi-Frame-Optimierung zurückführen.
Modul-Ablation auf TartanAir v2 Hard: Translationsfehler 0,0141 m/frame für das vollständige System gegenüber 0,0743 mit zufälligen Keypoints und Einheitskovarianz, 0,0679 ohne Kovarianzoptimierung und 0,0188 ohne unsicherheitsbasierte Keypoint-Auswahl.
Laufzeit bei 640×640 auf einem Ryzen 9 5950X mit einer RTX 3090 Ti: 2,15 fps roh, 3,96 fps mit TensorRT und Multiprocessing und 10,57 fps im Fast-Modus (Table V; im Text stehen 10,5 fps) bei 70 % der vollen Leistung; der Fast-Modus verwendet halbe Genauigkeit, in Table V als bf16 und in Appendix I als float16 angegeben.

Einschränkungen

Die Autoren merken an, dass die Methode nur eine Zwei-Frame-Posenoptimierung durchführt, und erwarten Verbesserungen durch Bundle Adjustment, Multi-Frame-Optimierung und Loop Closure.
Der Rotationsfehler auf KITTI ist schwächer als der Translationsfehler, was die Autoren auf das Fehlen einer Multi-Frame-Optimierung zurückführen.
Die Fusion des Kovarianzmodells mit anderen Sensoren wie IMUs bleibt künftiger Arbeit überlassen.
Das vollständige Modell läuft mit 2,15–3,96 fps auf einer Desktop-RTX 3090 Ti; der Fast-Modus mit 10,5 fps behält etwa 70 % der Leistung.
Die Näherung der Tiefe aus der Disparität verschlechtert sich, wenn die Disparität gegen null geht; Monte-Carlo-Prüfungen halten sie für eine Fehlerrate γ < 0,3 für akzeptabel.

Wirkung auf das Fachgebiet

Das Paper gewann den IEEE ICRA 2025 Best Conference Paper Award und den IEEE ICRA 2025 Best Paper Award on Robot Perception und hat 37 Zitierungen. Die im Paper genannte Projektseite (mac-vo.github.io) verlinkt ein öffentliches Code-Repository und eine Dokumentation.

Zusammenfassung

Wir stellen MAC-VO vor, eine neuartige lernbasierte Stereo-VO, die die gelernte, metrikbewusste Matching-Unsicherheit für zwei Zwecke nutzt: die Auswahl von Keypoints und die Gewichtung der Residuen in der Posengraph-Optimierung. Im Gegensatz zu traditionellen geometrischen Methoden, die texturreiche Merkmale wie Kanten bevorzugen, verwendet unser Keypoint-Selektor die gelernte Unsicherheit, um Merkmale geringer Qualität anhand globaler Inkonsistenz herauszufiltern. Im Gegensatz zu lernbasierten Algorithmen, die für die Kovarianz eine skalenagnostische diagonale Gewichtsmatrix modellieren, entwerfen wir ein metrikbewusstes Kovarianzmodell, das den räumlichen Fehler bei der Keypoint-Registrierung und die Korrelationen zwischen verschiedenen Achsen erfasst. Die Integration dieses Kovarianzmodells in die Posengraph-Optimierung erhöht die Robustheit und Zuverlässigkeit der Posenschätzung, insbesondere in anspruchsvollen Umgebungen mit wechselnder Beleuchtung, Merkmalsdichte und Bewegungsmustern. Auf öffentlichen Benchmark-Datensätzen übertrifft MAC-VO in anspruchsvollen Umgebungen bestehende VO-Algorithmen und sogar einige SLAM-Algorithmen. Die Kovarianzkarte liefert außerdem wertvolle Informationen über die Zuverlässigkeit der geschätzten Posen, was der Entscheidungsfindung autonomer Systeme zugutekommen kann.

Open Source Robotics