Joint 3D Proposal Generation and Object Detection from View Aggregation

Autori: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un rilevatore 3D a due stadi che fonde feature della vista a volo d'uccello del LIDAR e dell'immagine sia nella rete di proposta sia nel rilevatore, e regredisce un vettore di direzione esplicito per eliminare gli errori di orientamento di ±π.

Perché è importante

Fondere le feature dell'immagine nella fase di proposta aumenta il recall su pedoni e ciclisti, le classi che una fase di proposta solo LIDAR non coglie. La rete funziona in 0,08 s per frame con 2 GB di memoria GPU, cosa che gli autori presentano come adatta all'uso su un veicolo, e la eseguono sulla propria auto con una telecamera e un LIDAR diversi.

Problema

Su una mappa sparsa a volo d'uccello del LIDAR, un pedone copre solo circa 8 × 6 pixel, quindi dopo il sottocampionamento un singolo pixel della mappa delle feature contiene troppo poca informazione per proporre oggetti piccoli. Anche rilevatori 3D precedenti come MV3D deducono la direzione dagli angoli del box, il che lascia l'orientamento ambiguo di ±π, e le metriche 3D di KITTI non penalizzano questo errore.

Soluzione proposta

Due estrattori di feature basati su VGG16 producono mappe delle feature a piena risoluzione da una mappa BEV a sei canali e dall'immagine RGB. Una rete di proposta di regioni ritaglia e ridimensiona le feature per ogni ancora 3D da entrambe le viste, dopo convoluzioni 1 × 1 che riducono la memoria, e le fonde con la media elemento per elemento. Una rete di secondo stadio regredisce i box in una codifica a 10 valori con quattro angoli più due altezze, più un vettore di orientamento esplicito (cos θ, sin θ) usato per scegliere la direzione corretta.

Idee chiave

• Aggiungere le feature dell'immagine alla rete di proposta conta soprattutto per le classi piccole: aumenta il recall di pedoni e ciclisti ma non dà alcun guadagno per le auto, che occupano una parte sufficiente della mappa BEV
• I ritagli di feature di un singolo pixel non bastano per gli oggetti piccoli: i ritagli di 1 pixel hanno ridotto l'AP del 26,9 % per i pedoni e del 32,6 % per i ciclisti contro il 9,5 % per le auto
• La direzione dedotta solo dagli angoli del box è ambigua di ±π; un vettore di orientamento esplicito risolve l'ambiguità
• La metrica AP di KITTI non penalizza le inversioni di orientamento che mantengono l'IoU sopra la soglia, perciò gli autori propongono l'Average Heading Similarity (AHS)
• Le convoluzioni 1 × 1 prima del ritaglio riducono di 256× la memoria per vista dei ritagli di feature delle ancore, così decine di migliaia di ancore stanno in pochi megabyte

Risultati principali

• Validazione KITTI, auto, moderato: 74,19 % di AP 3D e 73,97 % di AHS, contro il 72,35 % di AP e il 43,75 % di AHS di MV3D (Tabella 1); il testo indica i guadagni di AHS su MV3D come 30,28 % (moderato) e 27,54 % (difficile), e l'introduzione come 29,46 % sulla classe auto
• Test KITTI, AP 3D auto (facile/moderato/difficile): 71,41 / 62,87 / 56,61 contro 71,09 / 62,35 / 55,12 di MV3D; pedone 29,45 / 23,42 / 22,22 e ciclista 35,94 / 29,04 / 26,44 (Tabella 2)
• Recall delle proposte: 86 % di recall 3D sulle auto con 10 proposte e 91 % con 50, dove MV3D riportava di averne bisogno di 300; il recall massimo sulle auto di 3DOP e Mono3D è del 73,87 % e del 65,74 %
• RPN con fusione contro RPN solo BEV: +6,9 % di AP per i pedoni e +9,4 % per i ciclisti nel rilevamento finale (Tabella 3)
• Circa 38,07 milioni di parametri (circa il 37 % di MV3D), 186,28 miliardi di FLOPs per frame, 0,08 s per frame su una TITAN Xp (4,5× più veloce di MV3D), 2 GB di memoria GPU in inferenza
• Classifica: l'introduzione dice che AVOD era terzo in tutte e tre le classi KITTI al momento dell'invio, mentre la sezione dei risultati dice che attualmente è primo in tutte e tre per AP 3D e BEV

Limiti

• Il server di test di KITTI non calcola l'AHS, quindi il vantaggio sull'orientamento è mostrato solo sulla partizione di validazione
• All'epoca nessun metodo pubblicato forniva risultati 3D per pedoni e ciclisti, quindi i confronti di rilevamento 3D riguardano solo le auto
• Sul test set il divario di AP rispetto a MV3D è piccolo (0,52 % e 1,49 % su moderato e difficile), e MV3D ha un'AP BEV più alta sulle auto facili (86,02 contro 85,51)
• L'AP 3D di pedoni e ciclisti resta molto al di sotto dell'AP delle auto (23,42 e 29,04 contro 62,87 sul test moderato)
• L'impiego sul veicolo degli autori è mostrato solo qualitativamente

Impatto sul settore

1739 citazioni. L'articolo rimanda a un video di risultati qualitativi; non indica alcun rilascio di codice o di dati.

Abstract

Presentiamo AVOD, una rete di rilevamento di oggetti a viste aggregate (Aggregate View Object Detection) per scenari di guida autonoma. L'architettura di rete neurale proposta usa nuvole di punti LIDAR e immagini RGB per generare feature condivise da due sottoreti: una rete di proposta di regioni (RPN) e una rete di rilevamento di secondo stadio. La RPN proposta usa un'architettura innovativa in grado di eseguire una fusione multimodale delle feature per generare proposte affidabili di oggetti 3D per più classi di oggetti in scene stradali. Usando queste proposte, la rete di rilevamento di secondo stadio esegue una regressione accurata di bounding box 3D orientati e una classificazione per categoria per prevedere le dimensioni, l'orientamento e la classe degli oggetti nello spazio 3D. Si mostra che l'architettura proposta produce risultati allo stato dell'arte sul benchmark di rilevamento di oggetti 3D di KITTI [10] funzionando in tempo reale con un ridotto ingombro di memoria, il che la rende una candidata adatta all'impiego su veicoli autonomi.

Link

• arXiv 1712.02294: https://arxiv.org/abs/1712.02294
• DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
• PDF: https://arxiv.org/pdf/1712.02294v1