OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Autoren: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Offener simulierter V2V-Wahrnehmungsdatensatz (8 CARLA-Städte plus ein digitales Culver City), ein Benchmark aus 4 LiDAR-Detektoren × 4 Fusionsmodi und Attention-basierte Merkmalsfusion, die die AP bei 4096× Kompression hält.

Warum es wichtig ist

Der Datensatz lässt sich aus aufgezeichneten Konfigurationsdateien und Zufalls-Seeds reproduzieren, sodass andere ihn neu erzeugen oder in identischen Fahrsituationen Sensoren hinzufügen können. Die Kompressionsexperimente liefern eine konkrete Bandbreitenzahl für das Teilen von Merkmalen zwischen Fahrzeugen: Bei 4096× Kompression benötigt eine Nachricht über eine V2V-Verbindung mit 27 Mbps etwa 5 ms.

Problem

Ein einzelnes autonomes Fahrzeug übersieht stark verdeckte oder weit entfernte Objekte, weil seine LiDAR-Rückläufe von ihnen zu spärlich sind. Das Teilen von Sensordaten zwischen Fahrzeugen kann diese toten Winkel füllen, doch veröffentlichte Arbeiten zur Fahrzeug-zu-Fahrzeug-Wahrnehmung nutzten kleine, angepasste oder unveröffentlichte Datensätze, sodass Methoden nicht gegeneinander gebenchmarkt werden konnten.

Lösungsansatz

Die Autoren erzeugen OPV2V mit dem Co-Simulations-Framework OpenCDA auf CARLA und SUMO: 73 Szenen in 8 CARLA-Städten plus einer digitalen Stadt von Culver City, Los Angeles, die in RoadRunner passend zu Daten eines realen Fahrzeugs gebaut wurde, mit 2-7 vernetzten Fahrzeugen pro Frame, jedes mit 4 Kameras, einem 64-Kanal-LiDAR und GPS/IMU. Sie benchmarken keine, frühe, späte und Zwischenfusion mit PIXOR, PointPillar, SECOND und VoxelNet und schlagen eine Zwischenfusions-Pipeline vor, die geteilte Merkmale mit einem Encoder-Decoder komprimiert und sie per Self-Attention über die Merkmale fusioniert, die jedes Fahrzeug für denselben räumlichen Ort hält.

Wichtigste Erkenntnisse

Das Teilen von Daten zwischen Fahrzeugen erhöht die AP bei IoU 0,7 gegenüber der Detektion mit einem einzelnen Fahrzeug für jeden Detektor und jede Fusionsstrategie auf beiden Testsets; die Arbeit berichtet Zuwächse von mindestens 10 %.
Frühe Fusion schlägt späte Fusion im Allgemeinen, weil sie mehr von den rohen Sensormessungen erhält.
Attention-basierte Zwischenfusion liefert für alle vier Detektoren auf beiden Testsets die beste AP, außer für PIXOR auf Culver City, wo die frühe Fusion höher liegt.
Die AP wächst mit der Zahl vernetzter Fahrzeuge an einer dichten Kreuzung, doch der Zuwachs flacht nach 4 Fahrzeugen ab, weil vier Blickwinkel bereits die meisten toten Winkel abdecken.
Alle Modelle schneiden auf der digitalen Stadt Culver City schlechter ab als auf den CARLA-Städten, was die Autoren auf realistischeren, verstopften Berufsverkehr und die daraus folgende Domänenlücke zurückführen.

Hauptergebnisse

Datensatz: 73 Szenen, 11.464 Frames (etwa 40K, wenn alle vernetzten Fahrzeuge gezählt werden), 232.913 annotierte 3D-Fahrzeugboxen, 249,4 GB, im Mittel 2,89 vernetzte Fahrzeuge pro Frame (Minimum 2, Maximum 7). Die v1-Zusammenfassung nennt 111.464 Frames, was den 11.464 im v1-Haupttext, in Table I und in der Aufteilung 6764/1981/2719 widerspricht; die aktuelle arXiv-Zusammenfassung nennt 11.464.
VoxelNet mit Attention-basierter Zwischenfusion: AP 0,906 / 0,864 bei IoU 0,5 / 0,7 auf den CARLA-Städten und 0,854 / 0,775 auf Culver City, gegenüber 0,688 / 0,526 und 0,605 / 0,431 ohne Fusion.
Zwischenfusion mit PointPillar: 0,908 / 0,815 (CARLA) und 0,854 / 0,735 (Culver City); mit SECOND: 0,893 / 0,826 und 0,875 / 0,760.
Ausnahme: PIXOR erreicht auf Culver City mit früher Fusion 0,734 / 0,558 gegenüber 0,716 / 0,549 mit Zwischenfusion.
Bei einer Kompressionsrate von 4096× verliert die VoxelNet-Zwischenfusion etwa 3 % AP bei IoU 0,7 und übertrifft dennoch frühe und späte Fusion; die Übertragungszeit beträgt etwa 5 ms bei 27 Mbps.
Das Training aller 16 Modelle dauerte 14 Tage auf 4 RTX-3090-GPUs; die Aufteilung in Training/Validierung/Test umfasst 6764/1981/2719 Frames.

Einschränkungen

Der Datensatz deckt derzeit nur die Aufgabe der Fahrzeugdetektion ab; weitere Aufgaben und Sensorausstattungen bleiben künftiger Arbeit überlassen.
Die Daten sind simuliert; die Verbindung zur realen Welt sind etwa 600 Frames in 4 Culver-City-Szenen, die in einer digitalen Stadt nachgebildet und nur zur Validierung verwendet werden, und das Hinzufügen realer Daten ist geplant, nicht umgesetzt.
Auf CARLA-Städten trainierte Modelle schneiden auf Culver City schlechter ab, was eine Domänenlücke zu realistischem Verkehr zeigt.
Der Benchmark verwendet nur LiDAR-Detektoren; multimodale Fusion und Fahrzeug-zu-Infrastruktur-Szenarien bleiben künftiger Arbeit überlassen.
Die Angabe von 5 ms Übertragungszeit wird aus einer Broadcast-Rate von 27 Mbps bei 300 m berechnet, die einer zitierten Übersicht über V2V-Protokolle entnommen ist, und ist nicht gemessen.

Wirkung auf das Fachgebiet

652 Zitationen. Die Arbeit veröffentlicht den Code zur Datensatzerzeugung im OpenCDA-Repository (Branch zur Datenerfassung) und gibt an, dass Datensatz, Benchmark-Methoden und Code auf der Projektseite veröffentlicht werden; die offizielle Projektseite verlinkt die Daten und das Code-Repository OpenCOOD.

Zusammenfassung

Der Einsatz von Fahrzeug-zu-Fahrzeug-Kommunikation (Vehicle-to-Vehicle) zur Verbesserung der Wahrnehmungsleistung in der Technologie des autonomen Fahrens hat in jüngster Zeit erhebliche Aufmerksamkeit erregt; das Fehlen eines geeigneten offenen Datensatzes für das Benchmarking von Algorithmen hat es jedoch erschwert, kooperative Wahrnehmungstechnologien zu entwickeln und zu bewerten. Zu diesem Zweck präsentieren wir den ersten großskaligen offenen simulierten Datensatz für Fahrzeug-zu-Fahrzeug-Wahrnehmung. Er enthält über 70 interessante Szenen, 11.464 Frames und 232.913 annotierte 3D-Bounding-Boxes von Fahrzeugen, gesammelt in 8 Städten in CARLA und einer digitalen Stadt von Culver City, Los Angeles. Anschließend erstellen wir einen umfassenden Benchmark mit insgesamt 16 implementierten Modellen, um mehrere Strategien der Informationsfusion (d. h. frühe, späte und Zwischenfusion) mit LiDAR-Detektionsalgorithmen nach dem Stand der Technik zu bewerten. Darüber hinaus schlagen wir eine neue Attentive-Intermediate-Fusion-Pipeline vor, um Informationen mehrerer vernetzter Fahrzeuge zu aggregieren. Unsere Experimente zeigen, dass die vorgeschlagene Pipeline leicht in bestehende 3D-LiDAR-Detektoren integriert werden kann und selbst bei hohen Kompressionsraten herausragende Leistung erzielt. Um mehr Forschende zur Untersuchung der Fahrzeug-zu-Fahrzeug-Wahrnehmung anzuregen, werden wir den Datensatz, die Benchmark-Methoden und den gesamten zugehörigen Code unter https://mobility-lab.seas.ucla.edu/opv2v/ veröffentlichen.

Open Source Robotics