Bird's-Eye View

Auch genannt: BEV, top-down view
Kategorie: Sensing › Perception outputs
Schlagwörter: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

Eine Gitterdarstellung des Bereichs um einen Roboter oder ein Fahrzeug von oben, erstellt aus LiDAR, Kameras oder beidem, verwendet für 3D-Detektion, Kartierung und Planung.

Definition

Eine Vogelperspektive (bird's-eye view, BEV) stellt eine Szene so dar, wie sie direkt von oben gesehen wird, als 2D-Gitter über der Bodenebene, zentriert auf den Roboter oder das Fahrzeug. Jede Zelle enthält Merkmale statt eines einzelnen Werts: Belegung, maximale oder mittlere Punkthöhe, Punktdichte, LiDAR-Intensität, semantische Klasse oder gelernte Merkmalsvektoren. Da Objekte auf dem Boden in dieser Ansicht ihre reale Größe behalten und sich nicht überlappen, ist ein BEV-Gitter ein praktischer Ort, um Fahrzeuge und Fußgänger zu erkennen, freien Raum zu schätzen und Informationen an einen Planer weiterzugeben, der ohnehin in einem Kartenkoordinatensystem von oben arbeitet.

Aus LiDAR-Daten wird eine BEV gebildet, indem Punkte in Zellen einsortiert werden. Handentworfene Varianten kodieren jede Zelle mit mehreren Kanälen für Höhenschichten plus Dichte und manchmal Intensität, wie in den Detektoren AVOD und MV3D; gelernte Varianten wie PointPillars verwenden ein kleines Netz, um die Punkte in jeder vertikalen Säule zu einem Merkmalsvektor zu kodieren, und erzeugen so ein Pseudobild, das ein gewöhnliches 2D-Faltungsnetz verarbeiten kann. Aus Kameradaten muss die Ansicht konstruiert werden, da Bilder perspektivische Projektionen sind. Frühe Methoden nutzten die inverse Perspektivabbildung, die eine flache Bodenebene annimmt. Spätere gelernte Methoden schätzen die Tiefe oder nutzen Attention, um Bildmerkmale in 3D anzuheben und auf das BEV-Gitter zu splatten, was es auch einfach macht, mehrere Kameras und LiDAR zu einer gemeinsamen Darstellung zu fusionieren.

Ein BEV-Gitter unterscheidet sich von einer Höhenkarte (elevation map). Eine Höhenkarte speichert die Geländehöhe für die Fortbewegung auf Beinen oder im Gelände; eine BEV ist ein allgemeines Merkmalsgitter von oben für die Wahrnehmung, meist auf Straßen oder Böden erstellt, wo der Boden nahezu eben ist. Die Abflachung, die die BEV so praktisch macht, kostet auch Information: Die vertikale Struktur wird auf wenige Kanäle reduziert, überhängende Objekte werden mit dem verschmolzen, was darunter liegt, und kleine oder weit entfernte Objekte können bei der gewählten Auflösung nur sehr wenige Zellen abdecken.

Warum es wichtig ist

Die BEV ist zum gemeinsamen Arbeitsraum für die Wahrnehmung beim autonomen Fahren und bei mobilen Robotern im Freien geworden. Sie lässt Detektion, Tracking, Kartierung und Planung ein metrisches Koordinatensystem teilen und macht die Fusion mehrerer Sensoren zu einer einzigen Darstellung viel einfacher.

Wichtige Anwendungen

3D-Objektdetektion für autonome Fahrzeuge
Mehrkamera- und Kamera-LiDAR-Fusion
Segmentierung befahrbarer Flächen und Fahrspuren
Vorhersage von Belegung und freiem Raum für die Planung
Kooperative Wahrnehmung mit Austausch von Karten zwischen Fahrzeugen

In der Praxis

Ein Lieferroboter fusioniert ein LiDAR auf dem Dach und vier Kameras für die Navigation auf Gehwegen. LiDAR-Punkte innerhalb von 40 m werden in ein Gitter mit Zellen von 0,1 m einsortiert, mit Kanälen für mehrere Höhenschichten und die Punktdichte. Kameramerkmale werden mithilfe vorhergesagter Tiefenverteilungen auf dasselbe Gitter angehoben, und die beiden Merkmalskarten werden verkettet, bevor ein Faltungskopf befahrbare Fläche, Fußgängerboxen und deren Ausrichtung vorhersagt. Der Planer liest dasselbe Gitter direkt. Als das Team eine Rampe in die Teststrecke aufnimmt, stellt es fest, dass dort, wo der Boden ansteigt, Scheinhindernisse auftauchen, weil die Höhenschichten relativ zu einer flachen Bodenebene definiert waren, und fügt zur Behebung eine Schätzung der Bodenhöhe pro Zelle hinzu.

Häufige Missverständnisse

Ein BEV-Bild ist nur ein Kamerafoto von oben — es ist ein konstruiertes metrisches Gitter, meist aus LiDAR erstellt oder durch Anheben perspektivischer Kamerabilder in 3D
Kamera-BEV ist so präzise wie LiDAR-BEV — Kameraverfahren müssen die Tiefe schätzen, daher wachsen Positionsfehler mit der Entfernung
Die BEV bewahrt die vollständige 3D-Szene — die Höhe wird auf wenige Kanäle komprimiert, sodass Überhänge und gestapelte Objekte verschmelzen
Die inverse Perspektivabbildung funktioniert überall — sie setzt einen ebenen Boden voraus und verzerrt alles, was sich über dem Boden oder an Hängen befindet

Wer das wissen sollte

Wahrnehmungsingenieure für autonomes Fahren
Entwickler mobiler Roboter und von Outdoor-Navigation
Forschende in Computer Vision, die an 3D-Detektion arbeiten
Ingenieure für Sensorfusion

Open Source Robotics