Tightly Coupled Sensor Fusion

Também chamado: tight coupling
Categoria: State estimation & navigation › Localisation
Tags: sensor-fusion, state-estimation, slam, imu, lidar

Fundir sensores estimando um único estado compartilhado diretamente a partir de suas medições de baixo nível, como observações de características e dados brutos da IMU, em vez de combinar poses que cada sensor produziu separadamente.

Definição

Na fusão de sensores fortemente acoplada (tightly coupled sensor fusion), um único estimador recebe as medições de baixo nível de todos os sensores (posições de características na imagem, distâncias ponto-plano do LiDAR, acelerações e velocidades angulares da IMU, pseudodistâncias GNSS) e resolve um único estado compartilhado. Na fusão fracamente acoplada, cada sensor ou subsistema primeiro produz sua própria estimativa, como uma pose de um pipeline de odometria visual ou uma posição calculada por um receptor GNSS, e uma segunda etapa combina essas saídas. Ambas são formas de fusão de sensores; a diferença é o nível em que as medições se encontram.

O acoplamento forte usa informação que o acoplamento fraco descarta. A IMU mantém o estado restringido quando apenas algumas características visuais estão visíveis e ajuda a prever onde as características devem aparecer; um receptor GNSS que rastreia satélites de menos para calcular uma posição ainda contribui com pseudodistâncias úteis; e as correlações entre sensores são modeladas em vez de ignoradas. Sistemas visual-inerciais como MSCKF, OKVIS e VINS-Mono são fortemente acoplados. Em sistemas LiDAR, LOAM e LeGO-LOAM costumam ser descritos como fracamente acoplados, porque a IMU apenas remove a distorção das varreduras e fornece estimativas iniciais, enquanto LIO-SAM e LVI-SAM colocam fatores de pré-integração da IMU na mesma otimização que as restrições do LiDAR e, no caso do LVI-SAM, as visuais.

O preço é complexidade e fragilidade. Um estimador fortemente acoplado precisa de modelos precisos de cada sensor, de calibração extrínseca e defasagens temporais cuidadosas e de uma inicialização confiável; uma falha nas medições de um sensor entra diretamente na estimativa compartilhada, a menos que seja detectada e rejeitada. Projetos fracamente acoplados são mais fáceis de construir, depurar e modificar, e isolam falhas, e é por isso que muitos sistemas implantados misturam os dois: por exemplo, um núcleo visual-inercial fortemente acoplado cuja saída é fundida de forma fraca com GNSS ou odometria de rodas. Os termos descrevem mais um espectro do que duas classes nítidas, e os artigos nem sempre traçam a linha no mesmo lugar.

Por que importa

Se um sistema é forte ou fracamente acoplado decide como ele se comporta quando um sensor está fraco: em cenas escuras, corredores sem características marcantes ou com cobertura parcial de satélites. Conhecer a diferença ajuda os engenheiros a ler artigos de estimação de estado e a escolher uma arquitetura adequada às suas necessidades de precisão, robustez e manutenção.

Principais aplicações

Odometria visual-inercial para drones e headsets de AR
SLAM LiDAR-inercial e LiDAR-visual-inercial
Integração GNSS/INS em veículos usando pseudodistâncias brutas
Estimação de estado de robôs com pernas fundindo a cinemática das pernas com dados da IMU
Navegação em condições degradadas, como túneis, escuridão ou fumaça

Na prática

Uma equipe que constrói uma mochila de mapeamento LiDAR-inercial começa com um projeto fracamente acoplado: um módulo de odometria LiDAR gera poses e um filtro de Kalman estendido as combina com a atitude da IMU. Durante curvas rápidas na caminhada, o alinhamento de varreduras falha e o filtro não tem nada útil para combinar. A equipe passa para um projeto fortemente acoplado em que fatores de pré-integração da IMU e fatores de alinhamento de varreduras LiDAR ficam em um mesmo grafo de fatores, os vieses da IMU são estimados online e a IMU sustenta o estado durante falhas curtas do LiDAR. A mudança também eleva a exigência de calibração: a otimização conjunta é sensível aos extrínsecos LiDAR-IMU e às defasagens de carimbo de tempo, por isso a equipe acrescenta uma etapa de calibração a cada mudança de hardware.

Equívocos comuns

O acoplamento forte sempre supera o fraco — ele usa mais informação, mas é mais sensível a erros de calibração e a sensores com falha, e um sistema fracamente acoplado bem construído pode ser mais robusto
Qualquer sistema que use uma câmera ou um LiDAR junto com uma IMU é fortemente acoplado — se a IMU apenas fornece estimativas iniciais ou a remoção de distorção e não está no estimador, o sistema é fracamente acoplado
Os termos têm uma única definição precisa — o uso varia entre artigos, e muitos sistemas combinam partes forte e fracamente acopladas

Quem deve saber

Engenheiros de estimação de estado e de SLAM
Equipes de navegação de veículos autônomos
Desenvolvedores de drones e de robôs com pernas
Engenheiros de integração GNSS/INS

Tecnologias relacionadas

Filtro de Kalman estendido (Extended Kalman Filter)
GTSAM
MSCKF
VINS-Mono
LIO-SAM
Integração GNSS/INS (GNSS/INS Integration)

Termos relacionados

Projetos relacionados

LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required