Tightly Coupled Sensor Fusion

Aussi appelé: tight coupling
Catégorie: State estimation & navigation › Localisation
Mots-clés: sensor-fusion, state-estimation, slam, imu, lidar

Fusion de capteurs qui estime un état partagé unique directement à partir de leurs mesures de bas niveau, comme les observations de points d'intérêt et les données IMU brutes, au lieu de combiner des poses produites séparément par chaque capteur.

Définition

Dans la fusion de capteurs fortement couplée (tightly coupled sensor fusion), un seul estimateur reçoit les mesures de bas niveau de chaque capteur (positions de points d'intérêt dans l'image, distances point-à-plan du LiDAR, accélérations et vitesses angulaires de l'IMU, pseudo-distances GNSS) et résout un état partagé unique. Dans la fusion faiblement couplée, chaque capteur ou sous-système produit d'abord sa propre estimation, comme une pose issue d'une chaîne d'odométrie visuelle ou une position calculée par un récepteur GNSS, et une seconde étape combine ces sorties. Les deux sont des formes de fusion de capteurs ; la différence tient au niveau auquel les mesures se rencontrent.

Le couplage fort utilise des informations que le couplage faible jette. L'IMU maintient l'état contraint lorsque seuls quelques points d'intérêt visuels sont visibles, et aide à prédire où les points d'intérêt devraient apparaître ; un récepteur GNSS qui suit trop peu de satellites pour calculer une position fournit tout de même des pseudo-distances utiles ; et les corrélations entre capteurs sont modélisées plutôt qu'ignorées. Les systèmes visuels-inertiels comme MSCKF, OKVIS et VINS-Mono sont fortement couplés. Parmi les systèmes LiDAR, LOAM et LeGO-LOAM sont généralement décrits comme faiblement couplés, car l'IMU n'y sert qu'à redresser les scans et à fournir des estimations initiales, tandis que LIO-SAM et LVI-SAM placent des facteurs de préintégration IMU dans la même optimisation que les contraintes LiDAR et, dans le cas de LVI-SAM, visuelles.

Le prix à payer est la complexité et la fragilité. Un estimateur fortement couplé nécessite des modèles précis de chaque capteur, un étalonnage extrinsèque et des décalages temporels soignés, et une initialisation fiable ; un défaut dans les mesures d'un capteur entre directement dans l'estimation partagée s'il n'est pas détecté et rejeté. Les conceptions faiblement couplées sont plus faciles à construire, à déboguer et à modifier, et elles isolent les défaillances, c'est pourquoi de nombreux systèmes déployés mélangent les deux : par exemple, un cœur visuel-inertiel fortement couplé dont la sortie est fusionnée de façon faiblement couplée avec le GNSS ou l'odométrie des roues. Ces termes décrivent un spectre plutôt que deux classes nettement séparées, et les articles ne placent pas toujours la frontière au même endroit.

Pourquoi c'est important

Qu'un système soit fortement ou faiblement couplé décide de son comportement lorsqu'un capteur est faible : scènes sombres, couloirs sans relief ou couverture satellitaire partielle. Connaître la différence aide les ingénieurs à lire les articles sur l'estimation d'état et à choisir une architecture adaptée à leurs besoins de précision, de robustesse et de maintenance.

Applications principales

Odométrie visuelle-inertielle pour drones et casques de réalité augmentée
SLAM LiDAR-inertiel et LiDAR-visuel-inertiel
Intégration GNSS/INS dans les véhicules à partir de pseudo-distances brutes
Estimation d'état de robots à pattes fusionnant la cinématique des jambes avec les données IMU
Navigation en conditions dégradées comme les tunnels, l'obscurité ou la fumée

En pratique

Une équipe qui construit un sac à dos de cartographie LiDAR-inertiel commence par une conception faiblement couplée : un module d'odométrie LiDAR fournit des poses et un filtre de Kalman étendu les combine avec l'attitude de l'IMU. Lors de virages rapides en marchant, le recalage de scans échoue et le filtre n'a plus rien d'utile à combiner. L'équipe passe à une conception fortement couplée dans laquelle les facteurs de préintégration IMU et les facteurs de recalage de scans LiDAR figurent dans un même graphe de facteurs, les biais de l'IMU sont estimés en ligne et l'IMU porte l'état pendant de courtes défaillances du LiDAR. Le changement relève aussi les exigences d'étalonnage : l'optimisation conjointe est sensible aux paramètres extrinsèques LiDAR-IMU et aux décalages d'horodatage, si bien que l'équipe ajoute une étape d'étalonnage à chaque modification matérielle.

Idées reçues

Le couplage fort l'emporte toujours sur le couplage faible — il utilise plus d'informations, mais il est plus sensible aux erreurs d'étalonnage et aux capteurs défaillants, et un système faiblement couplé bien construit peut être plus robuste
Tout système qui utilise une caméra ou un LiDAR avec une IMU est fortement couplé — si l'IMU ne fournit que des estimations initiales ou le redressement et ne fait pas partie de l'estimateur, le système est faiblement couplé
Ces termes ont une définition précise unique — l'usage varie d'un article à l'autre, et de nombreux systèmes combinent des parties fortement et faiblement couplées

Qui devrait le savoir

Ingénieurs en estimation d'état et en SLAM
Équipes de navigation de véhicules autonomes
Développeurs de drones et de robots à pattes
Ingénieurs en intégration GNSS/INS

Technologies associées

Filtre de Kalman étendu (Extended Kalman Filter)
GTSAM
MSCKF
VINS-Mono
LIO-SAM
Intégration GNSS/INS (GNSS/INS Integration)

Termes associés

Projets associés

LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required