OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Autori: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Dataset aperto e simulato di percezione V2V (8 città di CARLA più una Culver City digitale), un benchmark di 4 rilevatori LiDAR × 4 modalità di fusione e una fusione delle feature con attenzione che mantiene l'AP con una compressione di 4096×.

Perché è importante

Il dataset è riproducibile a partire da file di configurazione e seed casuali registrati, quindi altri possono rigenerarlo o aggiungere sensori in situazioni di guida identiche. Gli esperimenti di compressione forniscono un dato concreto di banda per la condivisione delle feature tra veicoli: con una compressione di 4096× un messaggio richiede circa 5 ms su un collegamento V2V da 27 Mbps.

Problema

Una singola auto a guida autonoma non rileva oggetti fortemente occlusi o lontani perché i ritorni del suo LiDAR su di essi sono troppo radi. Condividere i dati di percezione tra veicoli può coprire questi punti ciechi, ma i lavori pubblicati sulla percezione veicolo-veicolo usavano dataset piccoli, personalizzati o non rilasciati, quindi i metodi non potevano essere confrontati tra loro.

Soluzione proposta

Gli autori generano OPV2V con il framework di co-simulazione OpenCDA su CARLA e SUMO: 73 scene in 8 città di CARLA più una città digitale di Culver City, Los Angeles, costruita in RoadRunner per corrispondere ai dati di un veicolo reale, con 2-7 veicoli connessi per frame, ciascuno dotato di 4 telecamere, un LiDAR a 64 canali e GPS/IMU. Valutano l'assenza di fusione e la fusione precoce, tardiva e intermedia con PIXOR, PointPillar, SECOND e VoxelNet, e propongono una pipeline di fusione intermedia che comprime le feature condivise con un encoder-decoder e le fonde con self-attention sulle feature che ciascun veicolo possiede per la stessa posizione spaziale.

Idee chiave

• Condividere dati tra veicoli aumenta l'AP a IoU 0,7 rispetto al rilevamento con un solo veicolo per ogni rilevatore e strategia di fusione su entrambi i set di test; l'articolo riporta guadagni di almeno il 10 %.
• La fusione precoce batte in genere quella tardiva perché conserva una parte maggiore delle misure grezze dei sensori.
• La fusione intermedia con attenzione dà il miglior AP su entrambi i set di test per tutti e quattro i rilevatori, tranne PIXOR su Culver City, dove la fusione precoce è più alta.
• L'AP cresce con il numero di veicoli connessi in un incrocio affollato, ma il guadagno si appiattisce dopo 4 veicoli perché quattro punti di vista coprono già la maggior parte dei punti ciechi.
• Tutti i modelli ottengono punteggi più bassi sulla città digitale di Culver City che sulle città di CARLA, cosa che gli autori attribuiscono a un traffico dell'ora di punta più realistico e congestionato e al conseguente domain gap.

Risultati principali

• Dataset: 73 scene, 11.464 frame (circa 40K contando tutti i veicoli connessi), 232.913 box 3D di veicoli annotati, 249,4 GB, in media 2,89 veicoli connessi per frame (minimo 2, massimo 7). L'abstract della v1 indica 111.464 frame, in contrasto con gli 11.464 del testo della v1, della Tabella I e della suddivisione 6764/1981/2719; l'abstract attuale su arXiv indica 11.464.
• VoxelNet con fusione intermedia con attenzione: AP 0,906 / 0,864 a IoU 0,5 / 0,7 sulle città di CARLA e 0,854 / 0,775 su Culver City, contro 0,688 / 0,526 e 0,605 / 0,431 senza fusione.
• Fusione intermedia con PointPillar: 0,908 / 0,815 (CARLA) e 0,854 / 0,735 (Culver City); con SECOND: 0,893 / 0,826 e 0,875 / 0,760.
• Eccezione: PIXOR su Culver City raggiunge 0,734 / 0,558 con la fusione precoce contro 0,716 / 0,549 con la fusione intermedia.
• Con un tasso di compressione di 4096×, la fusione intermedia di VoxelNet perde circa il 3 % di AP a IoU 0,7 e supera ancora la fusione precoce e quella tardiva; il tempo di consegna è di circa 5 ms a 27 Mbps.
• L'addestramento di tutti i 16 modelli ha richiesto 14 giorni su 4 GPU RTX 3090; le suddivisioni di addestramento/validazione/test sono di 6764/1981/2719 frame.

Limiti

• Il dataset copre al momento solo il compito di rilevamento dei veicoli; altri compiti e configurazioni di sensori sono lasciati a lavori futuri.
• I dati sono simulati; il legame con il mondo reale è costituito da circa 600 frame in 4 scene di Culver City riprodotte in una città digitale e usate solo per la validazione, e l'aggiunta di dati reali è pianificata, non realizzata.
• I modelli addestrati sulle città di CARLA ottengono punteggi più bassi su Culver City, il che mostra un domain gap rispetto al traffico realistico.
• Il benchmark usa solo rilevatori LiDAR; la fusione multimodale e gli scenari veicolo-infrastruttura sono lasciati a lavori futuri.
• Il dato di consegna di 5 ms è calcolato a partire da una velocità di broadcast di 27 Mbps a 300 m presa da una rassegna citata dei protocolli V2V, non misurato.

Impatto sul settore

652 citazioni. L'articolo pubblica il codice di generazione del dataset nel repository di OpenCDA (branch di raccolta dati) e afferma che dataset, metodi del benchmark e codice saranno rilasciati sulla pagina del progetto; la pagina ufficiale del progetto rimanda ai dati e al repository di codice OpenCOOD.

Abstract

L'impiego della comunicazione veicolo-veicolo (Vehicle-to-Vehicle) per migliorare le prestazioni di percezione nella tecnologia di guida autonoma ha attirato di recente notevole attenzione; tuttavia, l'assenza di un dataset aperto adatto a valutare gli algoritmi ha reso difficile sviluppare e valutare le tecnologie di percezione cooperativa. A tal fine presentiamo il primo dataset simulato aperto su larga scala per la percezione veicolo-veicolo. Contiene oltre 70 scene interessanti, 11.464 frame e 232.913 bounding box 3D di veicoli annotati, raccolti da 8 città di CARLA e da una città digitale di Culver City, Los Angeles. Costruiamo poi un benchmark completo con un totale di 16 modelli implementati per valutare diverse strategie di fusione dell'informazione (cioè fusione precoce, tardiva e intermedia) con algoritmi di rilevamento LiDAR allo stato dell'arte. Inoltre proponiamo una nuova pipeline di fusione intermedia con attenzione (Attentive Intermediate Fusion) per aggregare le informazioni di più veicoli connessi. I nostri esperimenti mostrano che la pipeline proposta può essere facilmente integrata con i rilevatori LiDAR 3D esistenti e ottiene prestazioni eccellenti anche con elevati tassi di compressione. Per incoraggiare più ricercatori a studiare la percezione veicolo-veicolo, rilasceremo il dataset, i metodi del benchmark e tutto il codice correlato su https://mobility-lab.seas.ucla.edu/opv2v/.

Link

• arXiv 2109.07644: https://arxiv.org/abs/2109.07644
• DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
• PDF: https://arxiv.org/pdf/2109.07644v1
• Codice: https://github.com/DerrickXuNu/OpenCOOD
• Pagina del progetto: https://mobility-lab.seas.ucla.edu/opv2v/