Cooperative Perception

• 又稱: collaborative perception, V2X cooperative perception, V2V cooperative perception
• 類別: Learning & autonomy › Multi-robot
• 標籤: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

多輛車、多個機器人或路側單元分享感測器資料或偵測結果的感知方式，讓每一方都能看見遮擋物後方以及自身感測器範圍以外的情況。

定義

協同感知（Cooperative perception）讓多個代理人能結合各自感測到的資訊。一輛車對行人的視線被卡車擋住時，如果另一輛看得到該行人的車輛或路側感測器分享其資料，它仍能偵測到這名行人。每個代理人都能獲得盲點的涵蓋、更遠的有效距離，以及對同一物體的多個視角，從而改善對任何單一代理人都看不清楚之物體的偵測與定位。在道路車輛領域，這通常稱為車對車（V2V）、車對基礎設施（V2I），或更廣義的 V2X 協同感知；相同的概念也適用於移動機器人與無人機團隊。

系統通常依共享的內容分類。早期融合（Early fusion）傳送原始或僅經輕度處理的感測器資料，例如光達點雲，保留的資訊最多，但需要的頻寬也最大。後期融合（Late fusion）只傳送最終的偵測結果，例如 3D 邊界框，成本低廉，但會損失資訊，並且仰賴每個代理人自己的偵測器。中期融合（Intermediate fusion）傳送壓縮後的學習特徵，通常採用鳥瞰圖網格，並在接收端以神經網路融合；由於它在頻寬與精度之間取得平衡，已在以學習為基礎的系統中變得常見。

協同感知與感測器融合（sensor fusion）密切相關，但增加了單一平台融合所沒有的問題。代理人必須知道彼此的相對姿態才能對齊共享資料，因此定位誤差會直接造成各自所見內容的錯位。訊息抵達時帶有延遲，必須針對運動加以補償。通訊頻寬有限，連線也可能中斷。各代理人可能搭載不同的感測器與模型，而共享的資料必須可信，這就帶出了安全性以及對故障或惡意傳送者之穩健性的問題。

為何重要

遮擋與有限的感知距離，是任何單一機器人或車輛的根本限制，再多的車載感測也無法消除。在代理人與基礎設施之間分享感知，是少數能看見被遮擋事物的方法之一，這對路口、密集車流以及擁擠的多機器人環境中的安全都很重要。

主要應用

• 路口與密集車流中的聯網自動駕駛車輛
• 向經過車輛廣播偵測結果的路側感測單元
• 多機器人探索與建圖
• 分享目標觀測的無人機群
• 分享障礙物與人員偵測結果的倉儲車隊

實際應用

兩輛自駕車駛近一個路口，一輛停著的廂型車擋住了它們各自看見一名正在穿越路口之自行車騎士的視線。每輛車都執行一個光達骨幹網路，把點雲轉換成鳥瞰圖特徵圖，加以壓縮後，連同以 GPS 與里程計得到的姿態及時間戳記一起廣播。接收車輛把收到的特徵轉換到自己的座標系，利用傳送方的運動補償時間延遲，再於執行偵測頭之前，以一個以注意力為基礎的模組將其與自身特徵融合。工程師在模擬中注入姿態雜訊與訊息延遲來測試這套系統，因為微小的錯位可能產生重複或偏移的邊界框，比完全沒有共享資料還糟。

常見誤解

• 協同感知只是感測器融合 — 它還必須處理相對姿態誤差、通訊延遲、有限頻寬，以及獨立代理人之間的信任問題
• 分享原始感測器資料一定最好 — 它承載的資訊最多，但往往超出實際可用的頻寬，這正是特徵層級融合很常見的原因
• 連網的代理人越多，結果一定越好 — 定位不佳或延遲的資料可能帶來錯誤或偏移的偵測結果，除非經過仔細的對齊與加權

誰需要了解

• 自駕車感知工程師
• 多機器人與群體機器人研究人員
• V2X 通訊工程師
• 智慧基礎設施開發人員

相關技術

• V2X 通訊（V2X Communication）
• 鳥瞰圖特徵融合（Bird's-Eye-View Feature Fusion）
• CARLA
• OPV2V
• 點雲對位（Point Cloud Registration）

相關術語

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

相關專案

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation