Joint 3D Proposal Generation and Object Detection from View Aggregation

Autoren: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein zweistufiger 3D-Detektor, der LIDAR-Vogelperspektiv- und Bildmerkmale sowohl im Vorschlagsnetz als auch im Detektor fusioniert und einen expliziten Richtungsvektor regressiert, um Orientierungsfehler von ±π zu beseitigen.

Warum es wichtig ist

Die Fusion von Bildmerkmalen in der Vorschlagsstufe erhöht den Recall bei Fußgängern und Radfahrern, den Klassen, die eine reine LIDAR-Vorschlagsstufe übersieht. Das Netz läuft mit 0,08 s pro Frame bei 2 GB GPU-Speicher, was die Autoren als geeignet für den Einsatz in einem Fahrzeug darstellen, und sie betreiben es auf ihrem eigenen Auto mit einer anderen Kamera und einem anderen LIDAR.

Problem

Auf einer dünn besetzten LIDAR-Vogelperspektivkarte belegt ein Fußgänger nur etwa 8 × 6 Pixel, sodass nach dem Downsampling ein einzelnes Pixel der Merkmalskarte zu wenig Information enthält, um kleine Objekte vorzuschlagen. Frühere 3D-Detektoren wie MV3D leiten zudem die Fahrtrichtung aus den Boxecken ab, wodurch die Orientierung um ±π mehrdeutig bleibt, und die 3D-Metriken von KITTI bestrafen diesen Fehler nicht.

Lösungsansatz

Zwei auf VGG16 basierende Merkmalsextraktoren erzeugen Merkmalskarten in voller Auflösung aus einer sechskanaligen BEV-Karte und dem RGB-Bild. Ein Region Proposal Network schneidet für jeden 3D-Anchor Merkmale aus beiden Ansichten aus und skaliert sie, nachdem 1 × 1-Faltungen den Speicher reduziert haben, und fusioniert sie durch elementweisen Mittelwert. Ein Netz der zweiten Stufe regressiert Boxen in einer Kodierung aus 10 Werten (vier Ecken plus zwei Höhen) sowie einen expliziten Orientierungsvektor (cos θ, sin θ), mit dem die richtige Fahrtrichtung gewählt wird.

Wichtigste Erkenntnisse

Bildmerkmale im Vorschlagsnetz zählen vor allem für kleine Klassen: Sie erhöhen den Recall bei Fußgängern und Radfahrern, bringen aber keinen Gewinn bei Autos, die genug Fläche der BEV-Karte einnehmen
Merkmalsausschnitte für ein einzelnes Pixel reichen für kleine Objekte nicht aus: 1-Pixel-Ausschnitte senkten die AP um 26,9 % bei Fußgängern und 32,6 % bei Radfahrern gegenüber 9,5 % bei Autos
Eine allein aus den Boxecken abgeleitete Fahrtrichtung ist um ±π mehrdeutig; ein expliziter Orientierungsvektor löst dies auf
Die AP-Metrik von KITTI bestraft keine Orientierungsumkehr, bei der die IoU über dem Schwellwert bleibt, daher schlagen die Autoren Average Heading Similarity (AHS) vor
1 × 1-Faltungen vor dem Ausschneiden reduzieren den Speicher pro Ansicht für Anchor-Merkmalsausschnitte um das 256×-fache, sodass Zehntausende Anchors in wenige Megabyte passen

Hauptergebnisse

KITTI-Validierung, Auto, moderate: 74,19 % 3D-AP und 73,97 % AHS gegenüber 72,35 % AP und 43,75 % AHS von MV3D (Table 1); der Text gibt die AHS-Gewinne gegenüber MV3D mit 30,28 % (moderate) und 27,54 % (hard) an, die Einleitung mit 29,46 % für die Klasse Auto
KITTI-Test, Auto-3D-AP (easy/moderate/hard): 71,41 / 62,87 / 56,61 gegenüber 71,09 / 62,35 / 55,12 von MV3D; Fußgänger 29,45 / 23,42 / 22,22 und Radfahrer 35,94 / 29,04 / 26,44 (Table 2)
Vorschlags-Recall: 86 % 3D-Recall bei Autos mit 10 Vorschlägen und 91 % mit 50, während MV3D angab, 300 zu benötigen; der maximale Auto-Recall von 3DOP und Mono3D beträgt 73,87 % bzw. 65,74 %
Fusions-RPN gegenüber reinem BEV-RPN: +6,9 % AP für Fußgänger und +9,4 % für Radfahrer in der finalen Detektion (Table 3)
Etwa 38,07 Millionen Parameter (etwa 37 % von MV3D), 186,28 Milliarden FLOPs pro Frame, 0,08 s pro Frame auf einer TITAN Xp (4,5× schneller als MV3D), 2 GB GPU-Speicher bei der Inferenz
Rangliste: Die Einleitung sagt, AVOD lag bei der Einreichung in allen drei KITTI-Klassen auf Platz drei, während der Ergebnisteil sagt, es liege derzeit in allen drei bei 3D- und BEV-AP auf Platz eins

Einschränkungen

Der KITTI-Testserver berechnet keine AHS, daher wird der Orientierungsvorteil nur auf dem Validierungssplit gezeigt
Zum damaligen Zeitpunkt lieferte keine veröffentlichte Methode 3D-Ergebnisse für Fußgänger und Radfahrer, daher beziehen sich die 3D-Detektionsvergleiche nur auf Autos
Auf dem Testset ist der AP-Abstand zu MV3D gering (0,52 % und 1,49 % bei moderate und hard), und MV3D hat bei easy-Autos eine höhere BEV-AP (86,02 gegenüber 85,51)
Die 3D-AP für Fußgänger und Radfahrer bleibt weit unter der für Autos (23,42 und 29,04 gegenüber 62,87 im moderate-Test)
Der Einsatz auf dem Fahrzeug der Autoren wird nur qualitativ gezeigt

Wirkung auf das Fachgebiet

1739 Zitationen. Das Paper verlinkt ein Video mit qualitativen Ergebnissen; eine Code- oder Datenveröffentlichung wird nicht genannt.

Zusammenfassung

Wir stellen AVOD vor, ein Aggregate View Object Detection-Netzwerk für Szenarien des autonomen Fahrens. Die vorgeschlagene neuronale Netzarchitektur verwendet LIDAR-Punktwolken und RGB-Bilder, um Merkmale zu erzeugen, die von zwei Teilnetzen gemeinsam genutzt werden: einem Region Proposal Network (RPN) und einem Detektornetz der zweiten Stufe. Das vorgeschlagene RPN verwendet eine neuartige Architektur, die multimodale Merkmalsfusion durchführen kann, um zuverlässige 3D-Objektvorschläge für mehrere Objektklassen in Straßenszenen zu erzeugen. Mithilfe dieser Vorschläge führt das Detektionsnetz der zweiten Stufe eine genaue Regression orientierter 3D-Bounding-Boxes und eine Kategorienklassifikation durch, um Ausdehnung, Orientierung und Klasse von Objekten im 3D-Raum vorherzusagen. Es wird gezeigt, dass die vorgeschlagene Architektur auf dem KITTI-3D-Objektdetektions-Benchmark [10] Ergebnisse auf dem Stand der Technik liefert und dabei in Echtzeit mit geringem Speicherbedarf läuft, was sie zu einem geeigneten Kandidaten für den Einsatz in autonomen Fahrzeugen macht.

Open Source Robotics