Tightly Coupled Sensor Fusion

Auch genannt: tight coupling
Kategorie: State estimation & navigation › Localisation
Schlagwörter: sensor-fusion, state-estimation, slam, imu, lidar

Fusion von Sensoren, bei der ein gemeinsamer Zustand direkt aus ihren Rohmessungen, etwa Merkmalsbeobachtungen und rohen IMU-Daten, geschätzt wird, statt separat von jedem Sensor erzeugte Posen zu kombinieren.

Definition

Bei eng gekoppelter Sensorfusion (tightly coupled sensor fusion) nimmt ein einziger Schätzer die Rohmessungen jedes Sensors auf (Positionen von Bildmerkmalen, Punkt-zu-Ebene-Abstände des LiDAR, Beschleunigungen und Drehraten der IMU, GNSS-Pseudoentfernungen) und löst nach einem gemeinsamen Zustand. Bei lose gekoppelter Fusion liefert jeder Sensor oder jedes Teilsystem zunächst eine eigene Schätzung, etwa eine Pose aus einer Pipeline für visuelle Odometrie oder eine Positionslösung aus einem GNSS-Empfänger, und eine zweite Stufe führt diese Ausgaben zusammen. Beides sind Formen der Sensorfusion; der Unterschied liegt in der Ebene, auf der die Messungen zusammentreffen.

Enge Kopplung nutzt Information, die lose Kopplung verwirft. Die IMU hält den Zustand eingeschränkt, wenn nur wenige visuelle Merkmale sichtbar sind, und hilft vorherzusagen, wo Merkmale erscheinen sollten; ein GNSS-Empfänger, der zu wenige Satelliten verfolgt, um eine Positionslösung zu berechnen, trägt dennoch nützliche Pseudoentfernungen bei; und Korrelationen zwischen Sensoren werden modelliert statt ignoriert. Visuell-inertiale Systeme wie MSCKF, OKVIS und VINS-Mono sind eng gekoppelt. Bei LiDAR-Systemen werden LOAM und LeGO-LOAM meist als lose gekoppelt beschrieben, weil die IMU dort nur Scans entzerrt und Anfangsschätzungen liefert, während LIO-SAM und LVI-SAM IMU-Präintegrationsfaktoren in dieselbe Optimierung wie die LiDAR-Nebenbedingungen und im Fall von LVI-SAM auch die visuellen Nebenbedingungen stellen.

Der Preis sind Komplexität und Anfälligkeit. Ein eng gekoppelter Schätzer braucht genaue Modelle jedes Sensors, sorgfältige extrinsische Kalibrierung und Zeitversätze sowie eine verlässliche Initialisierung; ein Fehler in den Messungen eines Sensors geht direkt in die gemeinsame Schätzung ein, sofern er nicht erkannt und verworfen wird. Lose gekoppelte Entwürfe sind leichter zu bauen, zu debuggen und zu ändern, und sie isolieren Ausfälle, weshalb viele eingesetzte Systeme beides mischen: etwa einen eng gekoppelten visuell-inertialen Kern, dessen Ausgabe lose mit GNSS oder Radodometrie fusioniert wird. Die Begriffe beschreiben eher ein Spektrum als zwei scharf getrennte Klassen, und Paper ziehen die Grenze nicht immer an derselben Stelle.

Warum es wichtig ist

Ob ein System eng oder lose gekoppelt ist, entscheidet, wie es sich verhält, wenn ein Sensor schwach ist: in dunklen Szenen, merkmalsarmen Korridoren oder bei teilweiser Satellitenabdeckung. Wer den Unterschied kennt, kann Paper zur Zustandsschätzung besser lesen und eine Architektur wählen, die zu den eigenen Anforderungen an Genauigkeit, Robustheit und Wartung passt.

Wichtige Anwendungen

Visuell-inertiale Odometrie für Drohnen und AR-Headsets
LiDAR-inertiales und LiDAR-visuell-inertiales SLAM
GNSS/INS-Integration in Fahrzeugen mit rohen Pseudoentfernungen
Zustandsschätzung für Laufroboter durch Fusion von Beinkinematik und IMU-Daten
Navigation unter erschwerten Bedingungen wie in Tunneln, bei Dunkelheit oder Rauch

In der Praxis

Ein Team, das einen LiDAR-inertialen Kartierungsrucksack baut, beginnt mit einem lose gekoppelten Entwurf: Ein LiDAR-Odometrie-Modul gibt Posen aus, und ein erweitertes Kalman-Filter führt sie mit der Lage aus der IMU zusammen. Bei schnellen Drehungen im Gehen scheitert das Scan-Matching, und das Filter hat nichts Brauchbares zum Zusammenführen. Das Team wechselt zu einem eng gekoppelten Entwurf, bei dem IMU-Präintegrationsfaktoren und LiDAR-Scan-Matching-Faktoren in einem Faktorgraphen stehen, die IMU-Biases online geschätzt werden und die IMU den Zustand über kurze LiDAR-Ausfälle trägt. Die Änderung erhöht auch die Anforderungen an die Kalibrierung: Die gemeinsame Optimierung reagiert empfindlich auf die extrinsischen LiDAR-IMU-Parameter und Zeitstempelversätze, daher ergänzt das Team bei jeder Hardwareänderung einen Kalibrierschritt.

Häufige Missverständnisse

Eng gekoppelt schlägt lose gekoppelt immer — es nutzt mehr Information, ist aber empfindlicher gegenüber Kalibrierfehlern und defekten Sensoren, und ein gut gebautes lose gekoppeltes System kann robuster sein
Jedes System, das eine Kamera oder ein LiDAR zusammen mit einer IMU nutzt, ist eng gekoppelt — liefert die IMU nur Anfangsschätzungen oder Entzerrung und ist nicht Teil des Schätzers, ist das System lose gekoppelt
Die Begriffe haben eine präzise Definition — der Gebrauch variiert zwischen Papern, und viele Systeme kombinieren eng und lose gekoppelte Teile

Wer das wissen sollte

Ingenieure für Zustandsschätzung und SLAM
Navigationsteams für autonome Fahrzeuge
Entwickler von Drohnen und Laufrobotern
Ingenieure für GNSS/INS-Integration

Open Source Robotics