Tightly Coupled Sensor Fusion

Detto anche: tight coupling
Categoria: State estimation & navigation › Localisation
Tag: sensor-fusion, state-estimation, slam, imu, lidar

Fondere i sensori stimando un unico stato condiviso direttamente dalle loro misure di basso livello, come le osservazioni delle feature e i dati grezzi dell'IMU, invece di combinare pose prodotte separatamente da ciascun sensore.

Definizione

Nella fusione sensoriale strettamente accoppiata (tightly coupled sensor fusion), un unico stimatore riceve le misure di basso livello di tutti i sensori (posizioni delle feature nell'immagine, distanze punto-piano del LiDAR, accelerazioni e velocità angolari dell'IMU, pseudodistanze GNSS) e risolve per un unico stato condiviso. Nella fusione debolmente accoppiata, ogni sensore o sottosistema produce prima la propria stima, come una posa da una pipeline di odometria visiva o una posizione calcolata da un ricevitore GNSS, e un secondo stadio combina queste uscite. Entrambe sono forme di fusione sensoriale; la differenza è il livello a cui le misure si incontrano.

L'accoppiamento stretto usa informazioni che l'accoppiamento debole scarta. L'IMU mantiene lo stato vincolato quando sono visibili solo poche feature visive e aiuta a prevedere dove dovrebbero comparire le feature; un ricevitore GNSS che traccia troppo pochi satelliti per calcolare una posizione fornisce comunque pseudodistanze utili; e le correlazioni tra sensori vengono modellate invece di essere ignorate. Sistemi visivo-inerziali come MSCKF, OKVIS e VINS-Mono sono strettamente accoppiati. Nei sistemi LiDAR, LOAM e LeGO-LOAM sono di solito descritti come debolmente accoppiati, perché l'IMU si limita a correggere la distorsione delle scansioni e a fornire stime iniziali, mentre LIO-SAM e LVI-SAM inseriscono i fattori di preintegrazione dell'IMU nella stessa ottimizzazione dei vincoli LiDAR e, nel caso di LVI-SAM, di quelli visivi.

Il prezzo è complessità e fragilità. Uno stimatore strettamente accoppiato richiede modelli accurati di ogni sensore, un'accurata calibrazione estrinseca e degli offset temporali e un'inizializzazione affidabile; un guasto nelle misure di un sensore entra direttamente nella stima condivisa a meno che non venga rilevato e scartato. Le architetture debolmente accoppiate sono più facili da costruire, correggere e modificare, e isolano i guasti, ed è per questo che molti sistemi in uso combinano le due: per esempio, un nucleo visivo-inerziale strettamente accoppiato la cui uscita viene fusa in modo debole con il GNSS o con l'odometria delle ruote. I termini descrivono uno spettro più che due classi nette, e gli articoli non sempre tracciano il confine nello stesso punto.

Perché è importante

Il fatto che un sistema sia strettamente o debolmente accoppiato decide come si comporta quando un sensore è debole: in scene buie, in corridoi privi di elementi distintivi o con copertura satellitare parziale. Conoscere la differenza aiuta gli ingegneri a leggere gli articoli sulla stima dello stato e a scegliere un'architettura adatta alle loro esigenze di precisione, robustezza e manutenzione.

Applicazioni principali

Odometria visivo-inerziale per droni e visori AR
SLAM LiDAR-inerziale e LiDAR-visivo-inerziale
Integrazione GNSS/INS nei veicoli usando pseudodistanze grezze
Stima dello stato di robot con zampe che fonde la cinematica delle zampe con i dati dell'IMU
Navigazione in condizioni degradate come gallerie, buio o fumo

In pratica

Un gruppo che costruisce uno zaino di mappatura LiDAR-inerziale parte da un'architettura debolmente accoppiata: un modulo di odometria LiDAR fornisce pose e un filtro di Kalman esteso le combina con l'assetto dell'IMU. Durante le svolte rapide mentre si cammina, l'allineamento delle scansioni fallisce e il filtro non ha nulla di utile da combinare. Il gruppo passa a un'architettura strettamente accoppiata in cui i fattori di preintegrazione dell'IMU e i fattori di allineamento delle scansioni LiDAR stanno in un unico grafo dei fattori, i bias dell'IMU vengono stimati online e l'IMU sostiene lo stato durante brevi guasti del LiDAR. Il cambiamento alza anche l'asticella della calibrazione: l'ottimizzazione congiunta è sensibile agli estrinseci LiDAR-IMU e agli offset dei timestamp, quindi il gruppo aggiunge una fase di calibrazione a ogni modifica dell'hardware.

Idee sbagliate comuni

L'accoppiamento stretto batte sempre quello debole — usa più informazioni, ma è più sensibile agli errori di calibrazione e ai sensori guasti, e un sistema debolmente accoppiato ben costruito può essere più robusto
Qualsiasi sistema che usi una telecamera o un LiDAR insieme a un'IMU è strettamente accoppiato — se l'IMU fornisce solo stime iniziali o la correzione della distorsione e non è nello stimatore, il sistema è debolmente accoppiato
I termini hanno una definizione precisa e unica — l'uso varia da un articolo all'altro, e molti sistemi combinano parti strettamente e debolmente accoppiate

Chi dovrebbe saperlo

Ingegneri di stima dello stato e SLAM
Team di navigazione per veicoli autonomi
Sviluppatori di droni e robot con zampe
Ingegneri di integrazione GNSS/INS

Tecnologie correlate

Filtro di Kalman esteso (Extended Kalman Filter)
GTSAM
MSCKF
VINS-Mono
LIO-SAM
Integrazione GNSS/INS (GNSS/INS Integration)

Termini correlati

Progetti correlati

LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required