Joint 3D Proposal Generation and Object Detection from View Aggregation

Autores: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un detector 3D de dos etapas que fusiona características de vista de pájaro de LIDAR y de imagen tanto en la red de propuestas como en el detector, y hace regresión de un vector de rumbo explícito para eliminar errores de orientación de ±π.

Por qué importa

Fusionar características de imagen en la etapa de propuestas aumenta el recall en peatones y ciclistas, las clases que una etapa de propuestas solo con LIDAR pasa por alto. La red se ejecuta en 0,08 s por fotograma con 2 GB de memoria de GPU, lo que los autores presentan como adecuado para su uso en un vehículo, y la ejecutan en su propio coche con una cámara y un LIDAR diferentes.

Problema

En un mapa disperso de vista de pájaro de LIDAR, un peatón ocupa solo unos 8 × 6 píxeles, por lo que tras el submuestreo un único píxel del mapa de características contiene demasiada poca información para proponer objetos pequeños. Detectores 3D anteriores como MV3D también infieren el rumbo a partir de las esquinas de la caja, lo que deja la orientación ambigua en ±π, y las métricas 3D de KITTI no penalizan ese error.

Solución propuesta

Dos extractores de características basados en VGG16 producen mapas de características a resolución completa a partir de un mapa BEV de seis canales y de la imagen RGB. Una red de propuesta de regiones recorta y redimensiona las características de cada ancla 3D desde ambas vistas, tras convoluciones 1 × 1 que reducen la memoria, y las fusiona mediante la media elemento a elemento. Una red de segunda etapa hace regresión de las cajas en una codificación de 10 valores de cuatro esquinas más dos alturas, más un vector de orientación explícito (cos θ, sin θ) que se usa para elegir el rumbo correcto.

Ideas clave

• Añadir características de imagen a la red de propuestas importa sobre todo para las clases pequeñas: aumenta el recall de peatones y ciclistas, pero no aporta ganancia para los coches, que ocupan bastante del mapa BEV
• Los recortes de características de un solo píxel no bastan para objetos pequeños: los recortes de 1 píxel redujeron la AP un 26,9 % para peatones y un 32,6 % para ciclistas frente a un 9,5 % para coches
• El rumbo inferido solo a partir de las esquinas de la caja es ambiguo en ±π; un vector de orientación explícito resuelve la ambigüedad
• La métrica AP de KITTI no penaliza las inversiones de orientación que mantienen el IoU por encima del umbral, por lo que los autores proponen la Average Heading Similarity (AHS)
• Las convoluciones 1 × 1 antes del recorte reducen 256× la memoria por vista de los recortes de características de anclas, de modo que decenas de miles de anclas caben en unos pocos megabytes

Resultados principales

• Validación de KITTI, coche, moderado: 74,19 % de AP 3D y 73,97 % de AHS, frente al 72,35 % de AP y 43,75 % de AHS de MV3D (Tabla 1); el texto da las ganancias de AHS sobre MV3D como 30,28 % (moderado) y 27,54 % (difícil), y la introducción como 29,46 % en la clase coche
• Test de KITTI, AP 3D de coche (fácil/moderado/difícil): 71,41 / 62,87 / 56,61 frente a 71,09 / 62,35 / 55,12 de MV3D; peatón 29,45 / 23,42 / 22,22 y ciclista 35,94 / 29,04 / 26,44 (Tabla 2)
• Recall de propuestas: 86 % de recall 3D en coches con 10 propuestas y 91 % con 50, donde MV3D informó que necesitaba 300; el recall máximo de coches de 3DOP y Mono3D es del 73,87 % y del 65,74 %
• RPN con fusión frente a RPN solo BEV: +6,9 % de AP para peatones y +9,4 % para ciclistas en la detección final (Tabla 3)
• Unos 38,07 millones de parámetros (alrededor del 37 % de MV3D), 186,28 mil millones de FLOPs por fotograma, 0,08 s por fotograma en una TITAN Xp (4,5× más rápido que MV3D), 2 GB de memoria de GPU en inferencia
• Clasificación: la introducción dice que AVOD quedó tercero en las tres clases de KITTI en el momento del envío, mientras que la sección de resultados dice que actualmente ocupa el primer puesto en las tres en AP 3D y BEV

Limitaciones

• El servidor de test de KITTI no calcula la AHS, por lo que la ventaja en orientación solo se muestra en la partición de validación
• Ningún método publicado daba resultados 3D de peatones y ciclistas en ese momento, por lo que las comparaciones de detección 3D son solo para coches
• En el conjunto de test la diferencia de AP con MV3D es pequeña (0,52 % y 1,49 % en moderado y difícil), y MV3D tiene una AP BEV más alta en coches fáciles (86,02 frente a 85,51)
• La AP 3D de peatones y ciclistas queda muy por debajo de la AP de coches (23,42 y 29,04 frente a 62,87 en test moderado)
• El despliegue en el vehículo de los autores solo se muestra cualitativamente

Impacto en el campo

1739 citas. El artículo enlaza un vídeo con resultados cualitativos; no menciona ninguna publicación de código ni de datos.

Resumen

Presentamos AVOD, una red de detección de objetos de vistas agregadas (Aggregate View Object Detection) para escenarios de conducción autónoma. La arquitectura de red neuronal propuesta utiliza nubes de puntos LIDAR e imágenes RGB para generar características que comparten dos subredes: una red de propuesta de regiones (RPN) y una red detectora de segunda etapa. La RPN propuesta utiliza una arquitectura novedosa capaz de realizar fusión multimodal de características para generar propuestas fiables de objetos 3D para múltiples clases de objetos en escenas de carretera. Usando estas propuestas, la red de detección de segunda etapa realiza una regresión precisa de cajas delimitadoras 3D orientadas y una clasificación por categorías para predecir las dimensiones, la orientación y la clasificación de los objetos en el espacio 3D. Se muestra que nuestra arquitectura propuesta produce resultados del estado del arte en el benchmark de detección de objetos 3D de KITTI [10] mientras se ejecuta en tiempo real con una baja huella de memoria, lo que la convierte en una candidata adecuada para su despliegue en vehículos autónomos.

Enlaces

• arXiv 1712.02294: https://arxiv.org/abs/1712.02294
• DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
• PDF: https://arxiv.org/pdf/1712.02294v1