OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Autores: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Conjunto de datos abierto y simulado de percepción V2V (8 ciudades de CARLA más una Culver City digital), un benchmark de 4 detectores LiDAR × 4 modos de fusión y una fusión de características con atención que mantiene el AP con una compresión de 4096×.

Por qué importa

El conjunto de datos es reproducible a partir de archivos de configuración y semillas aleatorias registrados, de modo que otros pueden regenerarlo o añadir sensores en situaciones de conducción idénticas. Los experimentos de compresión dan una cifra concreta de ancho de banda para compartir características entre vehículos: con una compresión de 4096× un mensaje tarda unos 5 ms en un enlace V2V de 27 Mbps.

Problema

Un único coche autónomo no detecta objetos muy ocluidos o lejanos porque los retornos de su LiDAR sobre ellos son demasiado dispersos. Compartir datos de percepción entre vehículos puede cubrir estos puntos ciegos, pero los trabajos publicados de percepción vehículo a vehículo usaban conjuntos de datos pequeños, personalizados o no publicados, por lo que los métodos no se podían comparar entre sí.

Solución propuesta

Los autores generan OPV2V con el marco de cosimulación OpenCDA sobre CARLA y SUMO: 73 escenas en 8 ciudades de CARLA más una ciudad digital de Culver City, Los Ángeles, construida en RoadRunner para ajustarse a los datos de un vehículo real, con 2-7 vehículos conectados por fotograma, cada uno con 4 cámaras, un LiDAR de 64 canales y GPS/IMU. Evalúan sin fusión y con fusión temprana, tardía e intermedia con PIXOR, PointPillar, SECOND y VoxelNet, y proponen un pipeline de fusión intermedia que comprime las características compartidas con un codificador-decodificador y las fusiona con autoatención sobre las características que cada vehículo tiene para la misma ubicación espacial.

Ideas clave

Compartir datos entre vehículos eleva el AP con IoU 0,7 respecto a la detección con un solo vehículo para todos los detectores y estrategias de fusión en ambos conjuntos de prueba; el artículo reporta mejoras de al menos un 10 %.
La fusión temprana suele superar a la tardía porque conserva más mediciones en bruto de los sensores.
La fusión intermedia con atención da el mejor AP en ambos conjuntos de prueba para los cuatro detectores, salvo PIXOR en Culver City, donde la fusión temprana es mayor.
El AP crece con el número de vehículos conectados en una intersección densa, pero la mejora se estanca a partir de 4 vehículos porque cuatro puntos de vista ya cubren la mayoría de los puntos ciegos.
Todos los modelos obtienen peores resultados en la ciudad digital de Culver City que en las ciudades de CARLA, lo que los autores atribuyen a un tráfico de hora punta más realista y congestionado y a la consiguiente brecha de dominio.

Resultados principales

Conjunto de datos: 73 escenas, 11.464 fotogramas (unos 40K contando todos los vehículos conectados), 232.913 cajas 3D de vehículos anotadas, 249,4 GB, de media 2,89 vehículos conectados por fotograma (mínimo 2, máximo 7). El resumen de la v1 indica 111.464 fotogramas, lo que contradice los 11.464 del texto de la v1, la Tabla I y la división 6764/1981/2719; el resumen actual de arXiv indica 11.464.
VoxelNet con fusión intermedia con atención: AP 0,906 / 0,864 con IoU 0,5 / 0,7 en las ciudades de CARLA y 0,854 / 0,775 en Culver City, frente a 0,688 / 0,526 y 0,605 / 0,431 sin fusión.
Fusión intermedia con PointPillar: 0,908 / 0,815 (CARLA) y 0,854 / 0,735 (Culver City); con SECOND: 0,893 / 0,826 y 0,875 / 0,760.
Excepción: PIXOR en Culver City alcanza 0,734 / 0,558 con fusión temprana frente a 0,716 / 0,549 con fusión intermedia.
Con una tasa de compresión de 4096×, la fusión intermedia de VoxelNet pierde aproximadamente un 3 % de AP con IoU 0,7 y sigue superando a la fusión temprana y a la tardía; el tiempo de entrega es de unos 5 ms a 27 Mbps.
Entrenar los 16 modelos llevó 14 días en 4 GPU RTX 3090; las divisiones de entrenamiento/validación/prueba son de 6764/1981/2719 fotogramas.

Limitaciones

Por ahora el conjunto de datos solo cubre la tarea de detección de vehículos; más tareas y conjuntos de sensores quedan para trabajo futuro.
Los datos son simulados; el vínculo con el mundo real son unos 600 fotogramas de 4 escenas de Culver City reproducidas en una ciudad digital y usadas solo para validación, y añadir datos reales está previsto, no hecho.
Los modelos entrenados en las ciudades de CARLA obtienen peores resultados en Culver City, lo que muestra una brecha de dominio respecto al tráfico realista.
El benchmark usa solo detectores LiDAR; la fusión multimodal y los escenarios vehículo-infraestructura quedan para trabajo futuro.
La cifra de entrega de 5 ms se calcula a partir de una tasa de difusión de 27 Mbps a 300 m tomada de una revisión citada de protocolos V2V, no medida.

Impacto en el campo

652 citas. El artículo publica el código de generación del conjunto de datos en el repositorio de OpenCDA (rama de recopilación de datos) y afirma que el conjunto de datos, los métodos del benchmark y el código se publicarán en la página del proyecto; la página oficial del proyecto enlaza los datos y el repositorio de código OpenCOOD.

Resumen

Emplear la comunicación vehículo a vehículo (Vehicle-to-Vehicle) para mejorar el rendimiento de la percepción en la tecnología de conducción autónoma ha atraído una atención considerable recientemente; sin embargo, la ausencia de un conjunto de datos abierto adecuado para evaluar algoritmos ha dificultado el desarrollo y la evaluación de tecnologías de percepción cooperativa. Para ello, presentamos el primer conjunto de datos simulado abierto a gran escala para la percepción vehículo a vehículo. Contiene más de 70 escenas interesantes, 11.464 fotogramas y 232.913 cajas delimitadoras 3D de vehículos anotadas, recopiladas en 8 ciudades de CARLA y en una ciudad digital de Culver City, Los Ángeles. A continuación construimos un benchmark completo con un total de 16 modelos implementados para evaluar varias estrategias de fusión de información (es decir, fusión temprana, tardía e intermedia) con algoritmos de detección LiDAR del estado del arte. Además, proponemos un nuevo pipeline de fusión intermedia con atención (Attentive Intermediate Fusion) para agregar información de varios vehículos conectados. Nuestros experimentos muestran que el pipeline propuesto se puede integrar fácilmente con los detectores LiDAR 3D existentes y logra un rendimiento sobresaliente incluso con tasas de compresión grandes. Para animar a más investigadores a estudiar la percepción vehículo a vehículo, publicaremos el conjunto de datos, los métodos del benchmark y todo el código relacionado en https://mobility-lab.seas.ucla.edu/opv2v/.

Enlaces

arXiv 2109.07644: https://arxiv.org/abs/2109.07644
DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
PDF: https://arxiv.org/pdf/2109.07644v1
Código: https://github.com/DerrickXuNu/OpenCOOD
Página del proyecto: https://mobility-lab.seas.ucla.edu/opv2v/