OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

作者: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

开放的仿真 V2V 感知数据集（8 个 CARLA 城镇加一个数字化的 Culver City），一个由 4 种 LiDAR 检测器 × 4 种融合模式组成的基准，以及在 4096× 压缩下保持 AP 的注意力特征融合。

为何重要

该数据集可以从记录的配置文件和随机种子复现，因此其他人可以重新生成它，或在完全相同的驾驶情境中添加传感器。压缩实验给出了车辆之间共享特征的具体带宽数据：在 4096× 压缩下，一条消息通过 27 Mbps 的 V2V 链路传输约需 5 ms。

问题

单辆自动驾驶汽车会漏检严重遮挡或距离很远的物体，因为其 LiDAR 在这些物体上的回波过于稀疏。车辆之间共享感知数据可以填补这些盲区，但已发表的车对车感知工作使用的是小型、定制或未发布的数据集，因此各方法无法相互进行基准比较。

提出的方法

作者使用基于 CARLA 和 SUMO 的 OpenCDA 协同仿真框架生成 OPV2V：在 8 个 CARLA 城镇以及洛杉矶 Culver City 的一个数字城镇中共 73 个场景，该数字城镇用 RoadRunner 构建，以与一辆真实车辆的数据相匹配；每帧有 2-7 辆联网车辆，每辆车配备 4 台相机、一台 64 线 LiDAR 和 GPS/IMU。他们用 PIXOR、PointPillar、SECOND 和 VoxelNet 对无融合、早期、后期和中间融合进行基准测试，并提出一种中间融合流程，该流程用编码器-解码器压缩共享特征，并对各车辆在同一空间位置上持有的特征进行自注意力融合。

关键见解

• 在两个测试集上，对每种检测器和融合策略，车辆之间共享数据都使 IoU 0.7 下的 AP 高于单车检测；论文报告的提升至少为 10%。
• 早期融合通常优于后期融合，因为它保留了更多的原始传感器测量值。
• 注意力中间融合在两个测试集上对全部四种检测器都给出最佳 AP，只有 PIXOR 在 Culver City 上例外，那里早期融合更高。
• 在密集的路口，AP 随联网车辆数量增加而提高，但在 4 辆车之后增益趋于平缓，因为四个视角已经覆盖了大部分盲区。
• 所有模型在 Culver City 数字城镇上的得分都低于在 CARLA 城镇上的得分，作者将其归因于更真实、拥堵的高峰期交通以及由此产生的域差距。

主要结果

• 数据集：73 个场景，11,464 帧（计入所有联网车辆约为 40K），232,913 个带标注的 3D 车辆框，249.4 GB，平均每帧 2.89 辆联网车辆（最少 2 辆，最多 7 辆）。v1 摘要称有 111,464 帧，这与 v1 正文、Table I 以及 6764/1981/2719 的划分中的 11,464 相矛盾；当前的 arXiv 摘要称 11,464。
• 采用注意力中间融合的 VoxelNet：在 CARLA 城镇上 IoU 0.5 / 0.7 时 AP 为 0.906 / 0.864，在 Culver City 上为 0.854 / 0.775，无融合时分别为 0.688 / 0.526 和 0.605 / 0.431。
• PointPillar 的中间融合：0.908 / 0.815（CARLA）和 0.854 / 0.735（Culver City）；SECOND：0.893 / 0.826 和 0.875 / 0.760。
• 例外：PIXOR 在 Culver City 上早期融合达到 0.734 / 0.558，中间融合为 0.716 / 0.549。
• 在 4096× 压缩率下，VoxelNet 中间融合在 IoU 0.7 时损失约 3% AP，仍优于早期和后期融合；在 27 Mbps 下传输时间约为 5 ms。
• 在 4 块 RTX 3090 GPU 上训练全部 16 个模型耗时 14 天；训练/验证/测试划分为 6764/1981/2719 帧。

局限

• 该数据集目前只涵盖车辆检测任务；更多任务和传感器套件留待未来工作。
• 数据是仿真的；与真实世界的联系是在数字城镇中复现的 4 个 Culver City 场景中的约 600 帧，且仅用于验证，加入真实世界数据是计划中的工作，尚未完成。
• 在 CARLA 城镇上训练的模型在 Culver City 上得分较低，显示出与真实交通之间的域差距。
• 该基准只使用 LiDAR 检测器；多模态融合和车对基础设施设定留待未来工作。
• 5 ms 的传输数字是根据所引用的一篇 V2V 协议综述中 300 m 处 27 Mbps 的广播速率计算得出的，而非实测。

对领域的影响

652 次引用。论文在 OpenCDA 代码库（数据采集分支）中发布了数据集生成代码，并表示将在项目页面上发布数据集、基准方法和代码；官方项目页面链接了数据和 OpenCOOD 代码库。

摘要

利用车对车（Vehicle-to-Vehicle）通信来提升自动驾驶技术中的感知性能，近来受到了相当多的关注；然而，由于缺乏用于对算法进行基准测试的合适开放数据集，协同感知技术的开发和评估一直很困难。为此，我们提出了首个用于车对车感知的大规模开放仿真数据集。它包含 70 多个有意义的场景、11,464 帧和 232,913 个带标注的 3D 车辆边界框，采集自 CARLA 中的 8 个城镇以及洛杉矶 Culver City 的一个数字城镇。随后，我们构建了一个包含共 16 个已实现模型的综合基准，用最先进的 LiDAR 检测算法评估多种信息融合策略（即早期、后期和中间融合）。此外，我们提出了一种新的注意力中间融合（Attentive Intermediate Fusion）流程，用于聚合来自多辆联网车辆的信息。我们的实验表明，所提出的流程可以轻松与现有的 3D LiDAR 检测器集成，即使在很高的压缩率下也能取得出色的性能。为了鼓励更多研究人员研究车对车感知，我们将在 https://mobility-lab.seas.ucla.edu/opv2v/ 发布数据集、基准方法和所有相关代码。

链接

• arXiv 2109.07644: https://arxiv.org/abs/2109.07644
• DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
• PDF: https://arxiv.org/pdf/2109.07644v1
• 代码: https://github.com/DerrickXuNu/OpenCOOD
• 项目主页: https://mobility-lab.seas.ucla.edu/opv2v/