Joint 3D Proposal Generation and Object Detection from View Aggregation

Autores: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um detector 3D de dois estágios que funde características de visão de cima do LIDAR e da imagem tanto na rede de propostas quanto no detector, e faz regressão de um vetor de rumo explícito para eliminar erros de orientação de ±π.

Por que importa

Fundir características de imagem na etapa de propostas aumenta o recall de pedestres e ciclistas, as classes que uma etapa de propostas apenas com LIDAR deixa escapar. A rede roda em 0,08 s por quadro com 2 GB de memória de GPU, o que os autores apresentam como adequado para uso em um veículo, e eles a executam em seu próprio carro com câmera e LIDAR diferentes.

Problema

Em um mapa esparso de visão de cima do LIDAR, um pedestre cobre apenas cerca de 8 × 6 pixels, de modo que, após a subamostragem, um único pixel do mapa de características contém informação de menos para propor objetos pequenos. Detectores 3D anteriores, como o MV3D, também inferem o rumo a partir dos cantos da caixa, o que deixa a orientação ambígua em ±π, e as métricas 3D do KITTI não penalizam esse erro.

Solução proposta

Dois extratores de características baseados na VGG16 produzem mapas de características em resolução total a partir de um mapa BEV de seis canais e da imagem RGB. Uma rede de proposta de regiões recorta e redimensiona as características de cada âncora 3D a partir de ambas as visões, após convoluções 1 × 1 que reduzem a memória, e as funde por média elemento a elemento. Uma rede de segundo estágio faz regressão das caixas em uma codificação de 10 valores com quatro cantos mais duas alturas, além de um vetor de orientação explícito (cos θ, sin θ) usado para escolher o rumo correto.

Principais ideias

Adicionar características de imagem à rede de propostas importa mais para classes pequenas: aumenta o recall de pedestres e ciclistas, mas não traz ganho para carros, que ocupam o suficiente do mapa BEV
Recortes de características de um único pixel não bastam para objetos pequenos: recortes de 1 pixel reduziram a AP em 26,9 % para pedestres e 32,6 % para ciclistas contra 9,5 % para carros
O rumo inferido apenas pelos cantos da caixa é ambíguo em ±π; um vetor de orientação explícito resolve a ambiguidade
A métrica AP do KITTI não penaliza inversões de orientação que mantêm o IoU acima do limiar, por isso os autores propõem a Average Heading Similarity (AHS)
Convoluções 1 × 1 antes do recorte reduzem em 256× a memória por visão dos recortes de características das âncoras, de modo que dezenas de milhares de âncoras cabem em poucos megabytes

Principais resultados

Validação do KITTI, carro, moderado: 74,19 % de AP 3D e 73,97 % de AHS, contra 72,35 % de AP e 43,75 % de AHS do MV3D (Tabela 1); o texto dá os ganhos de AHS sobre o MV3D como 30,28 % (moderado) e 27,54 % (difícil), e a introdução como 29,46 % na classe carro
Teste do KITTI, AP 3D de carro (fácil/moderado/difícil): 71,41 / 62,87 / 56,61 contra 71,09 / 62,35 / 55,12 do MV3D; pedestre 29,45 / 23,42 / 22,22 e ciclista 35,94 / 29,04 / 26,44 (Tabela 2)
Recall de propostas: 86 % de recall 3D em carros com 10 propostas e 91 % com 50, enquanto o MV3D relatou precisar de 300; o recall máximo de carros do 3DOP e do Mono3D é 73,87 % e 65,74 %
RPN com fusão contra RPN apenas BEV: +6,9 % de AP para pedestres e +9,4 % para ciclistas na detecção final (Tabela 3)
Cerca de 38,07 milhões de parâmetros (cerca de 37 % do MV3D), 186,28 bilhões de FLOPs por quadro, 0,08 s por quadro em uma TITAN Xp (4,5× mais rápido que o MV3D), 2 GB de memória de GPU na inferência
Classificação: a introdução diz que o AVOD ficou em terceiro lugar nas três classes do KITTI na submissão, enquanto a seção de resultados diz que atualmente ocupa o primeiro lugar nas três em AP 3D e BEV

Limitações

O servidor de teste do KITTI não calcula a AHS, por isso a vantagem em orientação é mostrada apenas na partição de validação
Nenhum método publicado apresentava resultados 3D de pedestres e ciclistas na época, por isso as comparações de detecção 3D são apenas para carros
No conjunto de teste, a diferença de AP para o MV3D é pequena (0,52 % e 1,49 % em moderado e difícil), e o MV3D tem AP BEV maior em carros fáceis (86,02 contra 85,51)
A AP 3D de pedestres e ciclistas fica muito abaixo da AP de carros (23,42 e 29,04 contra 62,87 no teste moderado)
A implantação no veículo dos autores é mostrada apenas qualitativamente

Impacto na área

1739 citações. O artigo traz o link de um vídeo com resultados qualitativos; não cita nenhuma liberação de código ou de dados.

Resumo

Apresentamos o AVOD, uma rede de detecção de objetos por visões agregadas (Aggregate View Object Detection) para cenários de direção autônoma. A arquitetura de rede neural proposta usa nuvens de pontos LIDAR e imagens RGB para gerar características compartilhadas por duas sub-redes: uma rede de proposta de regiões (RPN) e uma rede detectora de segundo estágio. A RPN proposta usa uma arquitetura inovadora capaz de realizar fusão multimodal de características para gerar propostas confiáveis de objetos 3D para múltiplas classes de objetos em cenas de estrada. Usando essas propostas, a rede de detecção de segundo estágio realiza regressão precisa de caixas delimitadoras 3D orientadas e classificação de categoria para prever as dimensões, a orientação e a classificação dos objetos no espaço 3D. Mostra-se que nossa arquitetura proposta produz resultados do estado da arte no benchmark de detecção de objetos 3D do KITTI [10] enquanto roda em tempo real com baixo consumo de memória, o que a torna uma candidata adequada para implantação em veículos autônomos.

Open Source Robotics