OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Auteurs: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Jeu de données ouvert et simulé de perception V2V (8 villes CARLA plus une Culver City numérique), un benchmark de 4 détecteurs LiDAR × 4 modes de fusion, et une fusion de caractéristiques par attention qui maintient l'AP à une compression de 4096×.

Pourquoi c'est important

Le jeu de données est reproductible à partir des fichiers de configuration enregistrés et des graines aléatoires, de sorte que d'autres peuvent le régénérer ou ajouter des capteurs dans des situations de conduite identiques. Les expériences de compression donnent un chiffre concret de bande passante pour le partage de caractéristiques entre véhicules : à une compression de 4096×, un message prend environ 5 ms sur une liaison V2V à 27 Mbps.

Problème

Une voiture autonome seule manque des objets fortement occultés ou éloignés, car ses retours LiDAR sur ces objets sont trop clairsemés. Partager des données de perception entre véhicules peut combler ces angles morts, mais les travaux publiés sur la perception véhicule-à-véhicule utilisaient des jeux de données petits, personnalisés ou non publiés, si bien que les méthodes ne pouvaient pas être comparées entre elles.

Solution proposée

Les auteurs génèrent OPV2V avec le cadre de co-simulation OpenCDA sur CARLA et SUMO : 73 scènes réparties sur 8 villes CARLA plus une ville numérique de Culver City, Los Angeles, construite dans RoadRunner pour correspondre aux données d'un véhicule réel, avec 2-7 véhicules connectés par image, chacun équipé de 4 caméras, d'un LiDAR à 64 canaux et d'un GPS/IMU. Ils évaluent l'absence de fusion et les fusions précoce, tardive et intermédiaire avec PIXOR, PointPillar, SECOND et VoxelNet, et proposent une chaîne de fusion intermédiaire qui compresse les caractéristiques partagées avec un encodeur-décodeur et les fusionne par auto-attention sur les caractéristiques que chaque véhicule détient pour le même emplacement spatial.

Idées clés

• Le partage de données entre véhicules augmente l'AP à IoU 0,7 par rapport à la détection par un seul véhicule pour chaque détecteur et chaque stratégie de fusion sur les deux jeux de test ; l'article rapporte des gains d'au moins 10 %.
• La fusion précoce l'emporte généralement sur la fusion tardive, car elle conserve davantage des mesures brutes des capteurs.
• La fusion intermédiaire par attention donne la meilleure AP sur les deux jeux de test pour les quatre détecteurs, sauf pour PIXOR sur Culver City, où la fusion précoce est plus élevée.
• L'AP croît avec le nombre de véhicules connectés dans une intersection dense, mais le gain se tasse après 4 véhicules, car quatre points de vue couvrent déjà la plupart des angles morts.
• Tous les modèles obtiennent des scores plus faibles sur la ville numérique de Culver City que sur les villes CARLA, ce que les auteurs attribuent à un trafic d'heure de pointe plus réaliste et congestionné et à l'écart de domaine qui en résulte.

Principaux résultats

• Jeu de données : 73 scènes, 11 464 images (environ 40K en comptant tous les véhicules connectés), 232 913 boîtes 3D de véhicules annotées, 249,4 GB, en moyenne 2,89 véhicules connectés par image (minimum 2, maximum 7). Le résumé de la v1 indique 111 464 images, ce qui contredit les 11 464 du corps de texte de la v1, de la Table I et de la répartition 6764/1981/2719 ; le résumé arXiv actuel indique 11 464.
• VoxelNet avec fusion intermédiaire par attention : AP de 0,906 / 0,864 à IoU 0,5 / 0,7 sur les villes CARLA et de 0,854 / 0,775 sur Culver City, contre 0,688 / 0,526 et 0,605 / 0,431 sans fusion.
• Fusion intermédiaire avec PointPillar : 0,908 / 0,815 (CARLA) et 0,854 / 0,735 (Culver City) ; avec SECOND : 0,893 / 0,826 et 0,875 / 0,760.
• Exception : PIXOR sur Culver City atteint 0,734 / 0,558 avec la fusion précoce contre 0,716 / 0,549 avec la fusion intermédiaire.
• Avec un taux de compression de 4096×, la fusion intermédiaire VoxelNet perd environ 3 % d'AP à IoU 0,7 et surpasse encore les fusions précoce et tardive ; le temps de transmission est d'environ 5 ms à 27 Mbps.
• L'entraînement des 16 modèles a pris 14 jours sur 4 GPU RTX 3090 ; les répartitions entraînement/validation/test sont de 6764/1981/2719 images.

Limites

• Le jeu de données ne couvre actuellement que la tâche de détection de véhicules ; d'autres tâches et ensembles de capteurs sont laissés à des travaux futurs.
• Les données sont simulées ; le lien avec le monde réel consiste en environ 600 images de 4 scènes de Culver City reproduites dans une ville numérique et utilisées uniquement pour la validation, et l'ajout de données réelles est prévu, pas réalisé.
• Les modèles entraînés sur les villes CARLA obtiennent des scores plus faibles sur Culver City, ce qui montre un écart de domaine vis-à-vis d'un trafic réaliste.
• Le benchmark n'utilise que des détecteurs LiDAR ; la fusion multimodale et les configurations véhicule-à-infrastructure sont laissées à des travaux futurs.
• Le chiffre de 5 ms pour la transmission est calculé à partir d'un débit de diffusion de 27 Mbps à 300 m tiré d'une synthèse citée des protocoles V2V, et non mesuré.

Impact sur le domaine

652 citations. L'article publie le code de génération du jeu de données dans le dépôt OpenCDA (branche de collecte de données) et indique que le jeu de données, les méthodes du benchmark et le code seront publiés sur la page du projet ; la page officielle du projet renvoie vers les données et vers le dépôt de code OpenCOOD.

Résumé

Le recours à la communication véhicule-à-véhicule (Vehicle-to-Vehicle) pour améliorer les performances de perception dans les technologies de conduite autonome a récemment suscité une attention considérable ; cependant, l'absence d'un jeu de données ouvert adapté pour évaluer comparativement les algorithmes a rendu difficile le développement et l'évaluation des technologies de perception coopérative. À cette fin, nous présentons le premier jeu de données simulé ouvert à grande échelle pour la perception véhicule-à-véhicule. Il contient plus de 70 scènes intéressantes, 11 464 images et 232 913 boîtes englobantes 3D de véhicules annotées, collectées dans 8 villes de CARLA et dans une ville numérique de Culver City, Los Angeles. Nous construisons ensuite un benchmark complet avec un total de 16 modèles implémentés pour évaluer plusieurs stratégies de fusion d'informations (à savoir fusion précoce, tardive et intermédiaire) avec des algorithmes de détection LiDAR de l'état de l'art. De plus, nous proposons une nouvelle chaîne Attentive Intermediate Fusion pour agréger les informations de plusieurs véhicules connectés. Nos expériences montrent que la chaîne proposée peut être facilement intégrée aux détecteurs LiDAR 3D existants et atteint des performances remarquables même avec des taux de compression élevés. Pour encourager davantage de chercheurs à étudier la perception véhicule-à-véhicule, nous publierons le jeu de données, les méthodes du benchmark et tout le code associé à l'adresse https://mobility-lab.seas.ucla.edu/opv2v/.

Liens

• arXiv 2109.07644: https://arxiv.org/abs/2109.07644
• DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
• PDF: https://arxiv.org/pdf/2109.07644v1
• Code: https://github.com/DerrickXuNu/OpenCOOD
• Page du projet: https://mobility-lab.seas.ucla.edu/opv2v/