Sensor Fusion

• 又稱: Multi-Sensor Fusion, Data Fusion
• 類別: Sensing › Perception outputs
• 標籤: perception, sensors, localization, kalman-filter

結合多個感測器（攝影機、IMU、光達）的資料，產生比任何單一感測器更準確可靠的感知。

定義

感測器融合結合多個感測器的資料，產生比任何單一感測器更準確、更可靠也更完整的資訊。它利用各感測器互補的長處：IMU 速度快但會隨時間漂移，攝影機提供豐富的細節但在黑暗中失效，光達（LiDAR）提供精確的深度但價格昂貴，GPS 在戶外可用但在室內不行。常見的融合架構包括早期融合（結合原始資料）、中層融合（先擷取特徵）與後期融合（各自處理後再結合）。關鍵演算法包括擴展卡爾曼濾波器 (EKF)、無跡卡爾曼濾波器（UKF）、粒子濾波器，以及現代的因子圖最佳化。正確校正感測器之間的座標轉換並做好時間同步，是成功部署的關鍵。

為何重要

每個感測器都有它自己特有的誤差，而感測器融合就是把它們結合起來、讓誤差相互抵銷而不是累積的學問。IMU 快速而平順，但會漂移；GPS 是絕對的，但慢且雜訊多；輪式里程計很精確，直到車輪打滑；攝影機資訊豐富，但在黑暗中失效。融合產生的單一估計值比任何單一輸入都好，同樣重要的是，它還會估計這個答案有多不確定。幾乎每一個知道自己在哪裡的機器人，靠的都是融合，而不是任何單一的量測。

主要應用

• 移動機器人定位：把里程計、IMU 與 GPS 混合成一個位姿估計
• 無人機與手持裝置的視覺慣性里程計，攝影機與 IMU 相互補償
• 足式機器人的狀態估計，結合關節編碼器、IMU 與足部觸地感測
• 自駕車感知，把光達（LiDAR）、雷達與攝影機的偵測結果合併成一份物體清單
• 由加速度計、陀螺儀與磁力計估計姿態與航向
• 在夾爪上偵測力與打滑，結合觸覺、電流與視覺訊號

實際應用

移動機器人上的標準配置是擴展卡爾曼濾波器 (EKF)，在 ROS 2 中通常是 robot_localization，它接收輪式里程計、IMU，有時還有 GPS，並發布一個融合後的位姿。濾波器透過共變異數值得知每個來源有多可信，而這些值設錯是最常見的失效：把輪式里程計宣告得太可信，車輪一打滑，機器人就會信心十足地把它的地圖開進牆裡。同樣的原理可以擴大到視覺慣性里程計，攝影機與 IMU 緊密融合到在所需頻率下任何一方都無法單獨運作的程度。

常見誤解

• 融合就是把感測器取平均：它是由各來源的不確定性決定權重的加權估計，權重設錯的融合比最好的單一感測器還差
• 增加感測器一定能改善估計：一個相關或校正錯誤的感測器可能把整個解拉偏，而且它的失效可能悄無聲息
• 卡爾曼濾波器不需要調整：共變異數與過程雜訊必須設定成符合真實硬體，而預設值很少符合
• 融合能修正不良的校正：如果感測器之間的座標轉換是錯的，融合會把正確的資料結合成一個信心十足的錯誤答案

誰需要了解

• 任何機器人從多個來源得知自身位置的人
• 調整 robot_localization 或同類濾波器的開發者
• 調查機器人對自己位置信心十足卻判斷錯誤的工程師
• 想了解機率式狀態估計為何主導機器人學的學生
• 任何把新感測器整合進既有導航堆疊的人

相關技術

• 擴展卡爾曼濾波器 (EKF)
• 因子圖最佳化
• 光達（LiDAR）與攝影機校正
• IMU 預積分
• SLAM（Simultaneous Localization and Mapping，同步定位與建圖）
• 時間同步（PTP/NTP）
• ROS sensor_msgs
• 無跡卡爾曼濾波器（UKF）

相關術語

• ROS

相關專案

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation

相關產品

• Active Camera AC1: RoboSense

影片

• Understanding Sensor Fusion and Tracking, Part 1: What Is Sensor Fusion?: MATLAB

維基百科

• 感測器整合