Cooperative Perception

• 又称: collaborative perception, V2X cooperative perception, V2V cooperative perception
• 类别: Learning & autonomy › Multi-robot
• 标签: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

多辆车辆、多个机器人或路侧单元共享传感器数据或检测结果的感知方式，使每一方都能看到遮挡物背后以及自身传感器范围之外的情况。

定义

协同感知（Cooperative perception）使多个智能体能够把各自感知到的信息结合起来。一辆汽车对行人的视线被卡车挡住时，如果另一辆能看到该行人的车辆或路侧传感器共享其数据，它仍然可以检测到这个行人。每个智能体都能获得盲区覆盖、更远的有效距离以及对同一物体的多个视角，从而改善对任何单个智能体都看不清的物体的检测和定位。在道路车辆领域，这通常被称为车车（V2V）、车路（V2I）或更一般的 V2X 协同感知；同样的思想也适用于移动机器人和无人机团队。

系统通常按照共享的内容来分类。早期融合（Early fusion）发送原始或经过轻度处理的传感器数据，例如激光雷达点云，它保留的信息最多，但需要的带宽也最大。后期融合（Late fusion）只发送最终的检测结果，例如 3D 边界框，成本低，但会丢失信息，并依赖每个智能体自身的检测器。中期融合（Intermediate fusion）发送压缩后的学习特征，通常是鸟瞰图网格形式，并在接收端用神经网络进行融合；由于它在带宽和精度之间取得了平衡，已在基于学习的系统中变得常见。

协同感知与传感器融合（sensor fusion）密切相关，但增加了单平台融合所没有的问题。智能体必须知道彼此的相对位姿才能对齐共享数据，因此定位误差会直接导致各自所见内容的错位。消息到达时带有延迟，必须针对运动进行补偿。通信带宽有限，链路也可能中断。各智能体可能搭载不同的传感器和模型，而且共享的数据必须是可信的，这就带来了安全性以及对故障或恶意发送者的鲁棒性问题。

为何重要

遮挡和有限的感知距离是任何单个机器人或车辆的根本限制，再多的车载传感也无法消除它们。在智能体和基础设施之间共享感知，是少数能看到被遮挡事物的方法之一，这对交叉路口、密集交通以及拥挤的多机器人环境中的安全都很重要。

主要应用

• 交叉路口和密集交通中的网联自动驾驶车辆
• 向过往车辆广播检测结果的路侧感知单元
• 多机器人探索与建图
• 共享目标观测的无人机集群
• 共享障碍物和人员检测结果的仓储车队

实际应用

两辆自动驾驶车辆驶近一个交叉路口，一辆停着的厢式货车挡住了它们各自观察一名正在横穿的骑车人的视线。每辆车都运行一个激光雷达骨干网络，把点云转换为鸟瞰图特征图，对其进行压缩，并连同基于 GPS 和里程计的位姿以及时间戳一起广播。接收车辆把传入的特征变换到自己的坐标系中，利用发送方的运动补偿时间延迟，然后在运行检测头之前，用一个基于注意力的模块把它们与自身的特征融合。工程师在仿真中注入位姿噪声和消息延迟来测试该系统，因为微小的错位可能产生重复或偏移的边界框，其后果比完全没有共享数据还要糟糕。

常见误解

• 协同感知只是传感器融合 — 它还必须处理相对位姿误差、通信延迟、有限带宽以及独立智能体之间的信任问题
• 共享原始传感器数据总是最好的 — 它承载的信息最多，但往往超出实际可用的带宽，这就是特征级融合很常见的原因
• 联网的智能体越多，结果总是越好 — 定位不准或延迟的数据可能带来虚假或偏移的检测结果，除非对其进行仔细的对齐和加权

谁需要了解

• 自动驾驶感知工程师
• 多机器人和集群机器人研究人员
• V2X 通信工程师
• 智能基础设施开发人员

相关技术

• V2X 通信（V2X Communication）
• 鸟瞰图特征融合（Bird's-Eye-View Feature Fusion）
• CARLA
• OPV2V
• 点云配准（Point Cloud Registration）

相关术语

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

相关项目

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation