Tightly Coupled Sensor Fusion

• 다른 이름: tight coupling
• 카테고리: State estimation & navigation › Localisation
• 태그: sensor-fusion, state-estimation, slam, imu, lidar

각 센서가 따로 만든 자세를 결합하는 대신, 특징점 관측과 원시 IMU 데이터 같은 센서들의 저수준 측정으로부터 하나의 공유 상태를 직접 추정하여 센서를 융합하는 것.

정의

강결합 센서 융합(tightly coupled sensor fusion)에서는 하나의 추정기가 모든 센서의 저수준 측정(영상 특징점 위치, LiDAR 점-평면 거리, IMU 가속도와 각속도, GNSS 의사거리)을 받아 하나의 공유 상태를 구한다. 약결합 융합에서는 각 센서나 하위 시스템이 먼저 시각 주행거리계 파이프라인의 자세나 GNSS 수신기의 위치 해 같은 자체 추정치를 내고, 두 번째 단계가 이 출력들을 섞는다. 둘 다 센서 융합(sensor fusion)의 형태이며, 차이는 측정이 만나는 수준에 있다.

강결합은 약결합이 버리는 정보를 사용한다. IMU는 보이는 시각 특징점이 몇 개뿐일 때도 상태를 제약된 채로 유지하고 특징점이 나타날 위치를 예측하는 데 도움을 준다. 위치 해를 계산하기에는 너무 적은 위성을 추적하는 GNSS 수신기도 유용한 의사거리를 여전히 제공한다. 그리고 센서 사이의 상관관계가 무시되지 않고 모델링된다. MSCKF, OKVIS, VINS-Mono 같은 시각 관성 시스템은 강결합이다. LiDAR 시스템에서 LOAM과 LeGO-LOAM은 IMU가 스캔의 왜곡을 보정하고 초기 추정을 제공하는 데만 쓰이므로 보통 약결합으로 설명되는 반면, LIO-SAM과 LVI-SAM은 IMU 사전적분 팩터를 LiDAR 제약, 그리고 LVI-SAM의 경우 시각 제약과 같은 최적화 안에 둔다.

대가는 복잡성과 취약성이다. 강결합 추정기에는 모든 센서의 정확한 모델, 신중한 외부 파라미터 보정과 시간 오프셋, 그리고 신뢰할 수 있는 초기화가 필요하며, 한 센서의 측정에 생긴 결함은 검출되어 배제되지 않는 한 공유 추정에 곧바로 들어간다. 약결합 설계는 만들고 디버깅하고 수정하기가 더 쉽고 실패를 격리하므로, 많은 실전 배치 시스템이 둘을 섞는다. 예를 들어 강결합 시각 관성 코어의 출력을 GNSS나 휠 주행거리와 약결합으로 융합하는 식이다. 이 용어들은 뚜렷한 두 부류라기보다 하나의 스펙트럼을 묘사하며, 논문들이 늘 같은 곳에 선을 긋는 것은 아니다.

중요한 이유

시스템이 강결합인지 약결합인지는 한 센서가 약할 때, 즉 어두운 장면, 특징 없는 복도, 위성 신호가 부분적으로만 잡힐 때 시스템이 어떻게 동작할지를 결정한다. 그 차이를 알면 엔지니어가 상태 추정 논문을 읽고 정확도, 강인성, 유지보수 요구에 맞는 아키텍처를 고르는 데 도움이 된다.

주요 응용

• 드론과 AR 헤드셋을 위한 시각 관성 주행거리계
• LiDAR 관성 SLAM 및 LiDAR-시각-관성 SLAM
• 원시 의사거리를 이용한 차량의 GNSS/INS 통합
• 다리 기구학과 IMU 데이터를 융합하는 보행 로봇 상태 추정
• 터널, 어둠, 연기 같은 열화된 조건에서의 내비게이션

실제 사례

LiDAR 관성 매핑 백팩을 만드는 한 팀은 약결합 설계로 시작한다. LiDAR 주행거리계 모듈이 자세를 출력하고, 확장 칼만 필터가 이를 IMU 자세각과 섞는다. 걷다가 빠르게 방향을 틀면 스캔 매칭이 실패하고 필터는 섞을 만한 유용한 것이 없게 된다. 팀은 IMU 사전적분 팩터와 LiDAR 스캔 매칭 팩터가 하나의 팩터 그래프에 놓이고, IMU 바이어스가 온라인으로 추정되며, 짧은 LiDAR 실패 동안 IMU가 상태를 이어 가는 강결합 설계로 옮긴다. 이 변화는 보정에 대한 요구 수준도 높인다. 결합 최적화는 LiDAR-IMU 외부 파라미터와 타임스탬프 오프셋에 민감하므로, 팀은 하드웨어를 바꿀 때마다 보정 단계를 추가한다.

흔한 오해

• 강결합은 언제나 약결합보다 낫다 — 더 많은 정보를 쓰지만 보정 오차와 고장 난 센서에 더 민감하며, 잘 만든 약결합 시스템이 더 강인할 수 있다
• 카메라나 LiDAR를 IMU와 함께 쓰는 시스템은 모두 강결합이다 — IMU가 초기 추정이나 왜곡 보정만 제공하고 추정기 안에 들어 있지 않다면 그 시스템은 약결합이다
• 이 용어들에는 하나의 정확한 정의가 있다 — 용법은 논문마다 다르며, 많은 시스템이 강결합 부분과 약결합 부분을 결합한다

알아야 할 사람

• 상태 추정 및 SLAM 엔지니어
• 자율 주행 차량 내비게이션 팀
• 드론 및 보행 로봇 개발자
• GNSS/INS 통합 엔지니어

관련 기술

• 확장 칼만 필터(Extended Kalman Filter)
• GTSAM
• MSCKF
• VINS-Mono
• LIO-SAM
• GNSS/INS 통합(GNSS/INS Integration)

관련 용어

• Sensor Fusion
• Visual-Inertial Odometry
• IMU Preintegration
• Factor Graph
• Extended Kalman Filter
• LiDAR Odometry

관련 프로젝트

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenCat: An open-source Arduino and Raspberry Pi-based quadruped robot pet framework
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required