Tightly Coupled Sensor Fusion

También llamado: tight coupling
Categoría: State estimation & navigation › Localisation
Etiquetas: sensor-fusion, state-estimation, slam, imu, lidar

Fusión de sensores que estima un único estado compartido directamente a partir de sus medidas de bajo nivel, como observaciones de características y datos brutos de la IMU, en lugar de combinar poses que cada sensor ha producido por separado.

Definición

En la fusión de sensores fuertemente acoplada (tightly coupled sensor fusion), un único estimador toma las medidas de bajo nivel de todos los sensores (posiciones de características en la imagen, distancias punto-plano del LiDAR, aceleraciones y velocidades angulares de la IMU, pseudodistancias GNSS) y resuelve un único estado compartido. En la fusión débilmente acoplada, cada sensor o subsistema produce primero su propia estimación, como una pose de una cadena de odometría visual o una posición calculada por un receptor GNSS, y una segunda etapa combina esas salidas. Ambas son formas de fusión de sensores; la diferencia está en el nivel en el que se encuentran las medidas.

El acoplamiento fuerte usa información que el acoplamiento débil desecha. La IMU mantiene el estado restringido cuando solo se ven unas pocas características visuales y ayuda a predecir dónde deberían aparecer las características; un receptor GNSS que sigue demasiado pocos satélites para calcular una posición sigue aportando pseudodistancias útiles; y las correlaciones entre sensores se modelan en lugar de ignorarse. Los sistemas visual-inerciales como MSCKF, OKVIS y VINS-Mono son fuertemente acoplados. En los sistemas LiDAR, LOAM y LeGO-LOAM suelen describirse como débilmente acoplados, porque la IMU solo elimina la distorsión de los escaneos y proporciona estimaciones iniciales, mientras que LIO-SAM y LVI-SAM colocan los factores de preintegración de IMU en la misma optimización que las restricciones del LiDAR y, en el caso de LVI-SAM, las visuales.

El precio es la complejidad y la fragilidad. Un estimador fuertemente acoplado necesita modelos precisos de cada sensor, una calibración extrínseca y unos desfases temporales cuidadosos, y una inicialización fiable; un fallo en las medidas de un sensor entra directamente en la estimación compartida a menos que se detecte y se rechace. Los diseños débilmente acoplados son más fáciles de construir, depurar y modificar, y aíslan los fallos, por lo que muchos sistemas desplegados mezclan ambos: por ejemplo, un núcleo visual-inercial fuertemente acoplado cuya salida se fusiona de forma débil con GNSS u odometría de ruedas. Los términos describen un espectro más que dos clases nítidas, y los artículos no siempre trazan la línea en el mismo lugar.

Por qué importa

Que un sistema esté fuerte o débilmente acoplado decide cómo se comporta cuando un sensor es débil: en escenas oscuras, en pasillos sin rasgos o con cobertura de satélites parcial. Conocer la diferencia ayuda a los ingenieros a leer artículos de estimación de estado y a elegir una arquitectura que se ajuste a sus necesidades de precisión, robustez y mantenimiento.

Aplicaciones clave

Odometría visual-inercial para drones y visores de AR
SLAM LiDAR-inercial y LiDAR-visual-inercial
Integración GNSS/INS en vehículos usando pseudodistancias en bruto
Estimación de estado de robots con patas que fusiona la cinemática de las patas con datos de la IMU
Navegación en condiciones degradadas, como túneles, oscuridad o humo

En la práctica

Un equipo que construye una mochila de mapeo LiDAR-inercial empieza con un diseño débilmente acoplado: un módulo de odometría LiDAR entrega poses y un filtro de Kalman extendido las combina con la actitud de la IMU. Durante los giros rápidos al caminar, el emparejamiento de escaneos falla y el filtro no tiene nada útil que combinar. Pasan a un diseño fuertemente acoplado en el que los factores de preintegración de IMU y los factores de emparejamiento de escaneos LiDAR están en un mismo grafo de factores, los sesgos de la IMU se estiman en línea y la IMU sostiene el estado durante los fallos breves del LiDAR. El cambio también eleva el listón de la calibración: la optimización conjunta es sensible a los extrínsecos LiDAR-IMU y a los desfases de las marcas de tiempo, por lo que el equipo añade un paso de calibración a cada cambio de hardware.

Ideas erróneas comunes

El acoplamiento fuerte siempre supera al débil — usa más información, pero es más sensible a los errores de calibración y a los sensores defectuosos, y un sistema débilmente acoplado bien construido puede ser más robusto
Cualquier sistema que use una cámara o un LiDAR junto con una IMU está fuertemente acoplado — si la IMU solo proporciona estimaciones iniciales o la eliminación de distorsión y no está en el estimador, el sistema es débilmente acoplado
Los términos tienen una única definición precisa — el uso varía entre artículos, y muchos sistemas combinan partes fuerte y débilmente acopladas

Quién debería saberlo

Ingenieros de estimación de estado y de SLAM
Equipos de navegación de vehículos autónomos
Desarrolladores de drones y de robots con patas
Ingenieros de integración GNSS/INS

Tecnologías relacionadas

Filtro de Kalman extendido (Extended Kalman Filter)
GTSAM
MSCKF
VINS-Mono
LIO-SAM
Integración GNSS/INS (GNSS/INS Integration)

Términos relacionados

Proyectos relacionados

LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required