OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

作者: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

開放的模擬 V2V 感知資料集（8 個 CARLA 城鎮加上一個數位化的 Culver City）、一個由 4 種 LiDAR 偵測器 × 4 種融合模式組成的基準，以及在 4096× 壓縮下仍維持 AP 的注意力特徵融合。

為何重要

這個資料集可由記錄下來的設定檔與隨機種子重現，因此其他人可以重新產生它，或在完全相同的駕駛情境中加入感測器。壓縮實驗提供了車輛之間共享特徵的具體頻寬數值：在 4096× 壓縮下，一則訊息經由 27 Mbps 的 V2V 鏈路傳送約需 5 ms。

問題

單一自動駕駛車輛會漏掉被嚴重遮擋或距離很遠的物體，因為其 LiDAR 在這些物體上的回波太稀疏。車輛之間共享感測資料可以填補這些盲區，但已發表的車對車感知研究使用的是小型、客製或未釋出的資料集，因此各方法無法彼此進行基準比較。

提出的方法

作者以建構在 CARLA 與 SUMO 上的 OpenCDA 協同模擬框架產生 OPV2V：在 8 個 CARLA 城鎮與洛杉磯 Culver City 的一個數位城鎮中共 73 個場景，此數位城鎮以 RoadRunner 建構，以符合一輛真實車輛的資料；每幀有 2-7 輛連網車輛，每輛車配備 4 台相機、一具 64 線 LiDAR 與 GPS/IMU。他們以 PIXOR、PointPillar、SECOND 與 VoxelNet 對無融合、早期、晚期與中間融合進行基準評測，並提出一種中間融合流程，以編碼器—解碼器壓縮共享特徵，並對各車輛在同一空間位置上持有的特徵進行自注意力融合。

關鍵見解

在兩個測試集上，對每一種偵測器與融合策略，車輛之間共享資料都讓 IoU 0.7 下的 AP 高於單車偵測；論文報告的提升至少為 10%。
早期融合通常優於晚期融合，因為它保留了更多原始的感測器量測值。
注意力中間融合在兩個測試集上對全部四種偵測器都得到最佳 AP，唯一例外是 PIXOR 在 Culver City 上，此處早期融合較高。
在車輛密集的路口，AP 隨連網車輛數量增加而提高，但在 4 輛車之後增益趨於平緩，因為四個視角已涵蓋大部分盲區。
所有模型在 Culver City 數位城鎮上的分數都低於 CARLA 城鎮，作者將此歸因於更真實、壅塞的尖峰時段交通，以及由此產生的領域差距。

主要結果

資料集：73 個場景、11,464 幀（計入所有連網車輛約為 40K）、232,913 個經標註的 3D 車輛框、249.4 GB，平均每幀 2.89 輛連網車輛（最少 2 輛，最多 7 輛）。v1 摘要寫的是 111,464 幀，與 v1 正文、Table I 以及 6764/1981/2719 的劃分中的 11,464 互相矛盾；目前的 arXiv 摘要寫的是 11,464。
採用注意力中間融合的 VoxelNet：在 CARLA 城鎮上 IoU 0.5 / 0.7 時 AP 為 0.906 / 0.864，在 Culver City 上為 0.854 / 0.775，無融合時則為 0.688 / 0.526 與 0.605 / 0.431。
PointPillar 的中間融合：0.908 / 0.815（CARLA）與 0.854 / 0.735（Culver City）；SECOND：0.893 / 0.826 與 0.875 / 0.760。
例外：PIXOR 在 Culver City 上，早期融合達到 0.734 / 0.558，中間融合為 0.716 / 0.549。
在 4096× 壓縮率下，VoxelNet 中間融合在 IoU 0.7 時損失約 3% AP，仍優於早期與晚期融合；在 27 Mbps 下傳送時間約為 5 ms。
在 4 張 RTX 3090 GPU 上訓練全部 16 個模型耗時 14 天；訓練/驗證/測試劃分為 6764/1981/2719 幀。

限制

這個資料集目前只涵蓋車輛偵測任務；更多任務與感測器組合留待未來研究。
資料是模擬的；與真實世界的連結，是在數位城鎮中重現的 4 個 Culver City 場景裡約 600 幀，且只用於驗證，加入真實世界資料仍在規劃中，尚未完成。
在 CARLA 城鎮上訓練的模型在 Culver City 上分數較低，顯示與真實交通之間存在領域差距。
這個基準只使用 LiDAR 偵測器；多模態融合與車對基礎設施的設定留待未來研究。
5 ms 的傳送數值是根據所引用的一篇 V2V 協定綜述中 300 m 處 27 Mbps 的廣播速率計算而得，並非實測。

對領域的影響

652 次引用。論文在 OpenCDA 儲存庫（資料蒐集分支）中公開資料集產生程式碼，並表示將在專案頁面釋出資料集、基準方法與程式碼；官方專案頁面連結了資料與 OpenCOOD 程式碼儲存庫。

摘要

運用車對車（Vehicle-to-Vehicle）通訊來提升自動駕駛技術中的感知效能，近來受到相當多的關注；然而，由於缺乏適合用來對演算法進行基準評測的開放資料集，協同感知技術的開發與評估一直相當困難。為此，我們提出第一個用於車對車感知的大規模開放模擬資料集。它包含 70 多個值得關注的場景、11,464 幀，以及 232,913 個經標註的 3D 車輛定界框，蒐集自 CARLA 中的 8 個城鎮與洛杉磯 Culver City 的一個數位城鎮。接著，我們建立一個共包含 16 個已實作模型的完整基準，以最先進的 LiDAR 偵測演算法評估數種資訊融合策略（即早期、晚期與中間融合）。此外，我們提出一種新的注意力中間融合（Attentive Intermediate Fusion）流程，用來彙整多輛連網車輛的資訊。我們的實驗顯示，所提出的流程能輕易與現有的 3D LiDAR 偵測器整合，即使在很高的壓縮率下也能達到傑出的效能。為了鼓勵更多研究者探討車對車感知，我們將在 https://mobility-lab.seas.ucla.edu/opv2v/ 釋出資料集、基準方法與所有相關程式碼。

連結

arXiv 2109.07644: https://arxiv.org/abs/2109.07644
DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
PDF: https://arxiv.org/pdf/2109.07644v1
程式碼: https://github.com/DerrickXuNu/OpenCOOD
專案頁面: https://mobility-lab.seas.ucla.edu/opv2v/