OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Autores: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Conjunto de dados aberto e simulado de percepção V2V (8 cidades do CARLA mais uma Culver City digital), um benchmark de 4 detectores LiDAR × 4 modos de fusão e uma fusão de características com atenção que mantém o AP com compressão de 4096×.

Por que importa

O conjunto de dados é reproduzível a partir de arquivos de configuração e sementes aleatórias registrados, então outros podem regenerá-lo ou acrescentar sensores em situações de direção idênticas. Os experimentos de compressão dão um número concreto de largura de banda para o compartilhamento de características entre veículos: com compressão de 4096× uma mensagem leva cerca de 5 ms em um enlace V2V de 27 Mbps.

Problema

Um único carro autônomo deixa de detectar objetos muito ocluídos ou distantes porque os retornos do seu LiDAR sobre eles são esparsos demais. Compartilhar dados de percepção entre veículos pode preencher esses pontos cegos, mas os trabalhos publicados de percepção veículo a veículo usavam conjuntos de dados pequenos, personalizados ou não disponibilizados, então os métodos não podiam ser comparados entre si.

Solução proposta

Os autores geram o OPV2V com o framework de cossimulação OpenCDA sobre CARLA e SUMO: 73 cenas em 8 cidades do CARLA mais uma cidade digital de Culver City, Los Angeles, construída no RoadRunner para corresponder aos dados de um veículo real, com 2-7 veículos conectados por quadro, cada um com 4 câmeras, um LiDAR de 64 canais e GPS/IMU. Eles avaliam sem fusão e com fusão precoce, tardia e intermediária com PIXOR, PointPillar, SECOND e VoxelNet, e propõem um pipeline de fusão intermediária que comprime as características compartilhadas com um codificador-decodificador e as funde com autoatenção sobre as características que cada veículo tem para a mesma posição espacial.

Principais ideias

Compartilhar dados entre veículos eleva o AP com IoU 0,7 em relação à detecção com um único veículo para todos os detectores e estratégias de fusão em ambos os conjuntos de teste; o artigo relata ganhos de pelo menos 10 %.
A fusão precoce geralmente supera a fusão tardia porque mantém mais das medições brutas dos sensores.
A fusão intermediária com atenção dá o melhor AP em ambos os conjuntos de teste para os quatro detectores, exceto o PIXOR em Culver City, onde a fusão precoce é maior.
O AP cresce com o número de veículos conectados em um cruzamento denso, mas o ganho se estabiliza depois de 4 veículos, porque quatro pontos de vista já cobrem a maioria dos pontos cegos.
Todos os modelos têm resultados piores na cidade digital de Culver City do que nas cidades do CARLA, o que os autores atribuem ao tráfego de horário de pico mais realista e congestionado e à consequente lacuna de domínio.

Principais resultados

Conjunto de dados: 73 cenas, 11.464 quadros (cerca de 40K contando todos os veículos conectados), 232.913 caixas 3D de veículos anotadas, 249,4 GB, em média 2,89 veículos conectados por quadro (mínimo 2, máximo 7). O resumo da v1 indica 111.464 quadros, o que conflita com os 11.464 do texto da v1, da Tabela I e da divisão 6764/1981/2719; o resumo atual no arXiv indica 11.464.
VoxelNet com fusão intermediária com atenção: AP 0,906 / 0,864 com IoU 0,5 / 0,7 nas cidades do CARLA e 0,854 / 0,775 em Culver City, contra 0,688 / 0,526 e 0,605 / 0,431 sem fusão.
Fusão intermediária com PointPillar: 0,908 / 0,815 (CARLA) e 0,854 / 0,735 (Culver City); com SECOND: 0,893 / 0,826 e 0,875 / 0,760.
Exceção: o PIXOR em Culver City atinge 0,734 / 0,558 com fusão precoce contra 0,716 / 0,549 com fusão intermediária.
Com uma taxa de compressão de 4096×, a fusão intermediária do VoxelNet perde cerca de 3 % de AP com IoU 0,7 e ainda supera a fusão precoce e a tardia; o tempo de entrega é de cerca de 5 ms a 27 Mbps.
Treinar os 16 modelos levou 14 dias em 4 GPUs RTX 3090; as divisões de treino/validação/teste são de 6764/1981/2719 quadros.

Limitações

Atualmente o conjunto de dados cobre apenas a tarefa de detecção de veículos; mais tarefas e conjuntos de sensores ficam para trabalho futuro.
Os dados são simulados; a ligação com o mundo real são cerca de 600 quadros de 4 cenas de Culver City reproduzidas em uma cidade digital e usadas apenas para validação, e acrescentar dados reais está planejado, não feito.
Modelos treinados nas cidades do CARLA têm resultados piores em Culver City, mostrando uma lacuna de domínio em relação ao tráfego realista.
O benchmark usa apenas detectores LiDAR; fusão multimodal e cenários veículo-infraestrutura ficam para trabalho futuro.
O número de entrega de 5 ms é calculado a partir de uma taxa de difusão de 27 Mbps a 300 m tirada de uma visão geral citada de protocolos V2V, não medido.

Impacto na área

652 citações. O artigo publica o código de geração do conjunto de dados no repositório do OpenCDA (branch de coleta de dados) e afirma que o conjunto de dados, os métodos do benchmark e o código serão disponibilizados na página do projeto; a página oficial do projeto aponta para os dados e para o repositório de código OpenCOOD.

Resumo

Empregar a comunicação veículo a veículo (Vehicle-to-Vehicle) para melhorar o desempenho da percepção na tecnologia de direção autônoma tem atraído considerável atenção recentemente; no entanto, a ausência de um conjunto de dados aberto adequado para avaliar algoritmos tem dificultado o desenvolvimento e a avaliação de tecnologias de percepção cooperativa. Para isso, apresentamos o primeiro conjunto de dados simulado aberto em larga escala para percepção veículo a veículo. Ele contém mais de 70 cenas interessantes, 11.464 quadros e 232.913 caixas delimitadoras 3D de veículos anotadas, coletadas em 8 cidades do CARLA e em uma cidade digital de Culver City, Los Angeles. Em seguida, construímos um benchmark abrangente com um total de 16 modelos implementados para avaliar várias estratégias de fusão de informação (isto é, fusão precoce, tardia e intermediária) com algoritmos de detecção LiDAR de estado da arte. Além disso, propomos um novo pipeline de fusão intermediária com atenção (Attentive Intermediate Fusion) para agregar informações de vários veículos conectados. Nossos experimentos mostram que o pipeline proposto pode ser facilmente integrado a detectores LiDAR 3D existentes e alcança desempenho excelente mesmo com grandes taxas de compressão. Para incentivar mais pesquisadores a investigar a percepção veículo a veículo, disponibilizaremos o conjunto de dados, os métodos do benchmark e todos os códigos relacionados em https://mobility-lab.seas.ucla.edu/opv2v/.

Open Source Robotics