Cooperative Perception

Auch genannt: collaborative perception, V2X cooperative perception, V2V cooperative perception
Kategorie: Learning & autonomy › Multi-robot
Schlagwörter: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

Wahrnehmung, bei der mehrere Fahrzeuge, Roboter oder straßenseitige Einheiten Sensordaten oder Detektionen teilen, sodass jeder um Verdeckungen herum und über die eigene Sensorreichweite hinaus sieht.

Definition

Kooperative Wahrnehmung (Cooperative Perception) ermöglicht es mehreren Agenten, das zu kombinieren, was sie erfassen. Ein Auto, dessen Sicht auf einen Fußgänger durch einen Lkw verdeckt ist, kann den Fußgänger dennoch erkennen, wenn ein anderes Fahrzeug oder ein straßenseitiger Sensor, der ihn sehen kann, seine Daten teilt. Jeder Agent gewinnt Abdeckung toter Winkel, eine größere effektive Reichweite und mehrere Blickwinkel auf dasselbe Objekt, was die Erkennung und Lokalisierung von Objekten verbessert, die ein einzelner Agent schlecht sieht. Bei Straßenfahrzeugen wird dies meist als Vehicle-to-Vehicle- (V2V), Vehicle-to-Infrastructure- (V2I) oder allgemeiner V2X-kooperative Wahrnehmung diskutiert; dieselben Ideen gelten für Teams mobiler Roboter und Drohnen.

Systeme werden meist danach eingeteilt, was sie teilen. Frühe Fusion (Early Fusion) sendet rohe oder leicht vorverarbeitete Sensordaten, etwa LiDAR-Punktwolken, was die meisten Informationen erhält, aber die meiste Bandbreite benötigt. Späte Fusion (Late Fusion) sendet nur fertige Detektionen, etwa 3D-Bounding-Boxes, was günstig ist, aber Informationen verliert und vom eigenen Detektor jedes Agenten abhängt. Zwischenfusion (Intermediate Fusion) sendet komprimierte gelernte Merkmale, oft in einem Gitter aus der Vogelperspektive (Bird's-Eye View), und fusioniert sie auf der Empfängerseite in einem neuronalen Netz; sie ist in gelernten Systemen verbreitet, weil sie Bandbreite und Genauigkeit gegeneinander ausbalanciert.

Kooperative Wahrnehmung ist eng mit Sensorfusion (Sensor Fusion) verwandt, bringt aber Probleme mit sich, die die Fusion auf einer einzelnen Plattform nicht hat. Agenten müssen ihre relativen Posen kennen, um geteilte Daten auszurichten, sodass ein Lokalisierungsfehler direkt das falsch ausrichtet, was jeder sieht. Nachrichten treffen mit Latenz ein und müssen bezüglich der Bewegung kompensiert werden. Die Kommunikationsbandbreite ist begrenzt, und Verbindungen können abbrechen. Agenten können unterschiedliche Sensoren und Modelle tragen, und geteilten Daten muss man vertrauen können, was Fragen der Sicherheit und der Robustheit gegenüber fehlerhaften oder böswilligen Sendern aufwirft.

Warum es wichtig ist

Verdeckung und begrenzte Reichweite sind grundlegende Grenzen für jeden einzelnen Roboter und jedes einzelne Fahrzeug, und keine noch so umfangreiche Bordsensorik beseitigt sie. Wahrnehmung zwischen Agenten und Infrastruktur zu teilen ist eine der wenigen Möglichkeiten, Verborgenes zu sehen, was für die Sicherheit an Kreuzungen, in dichtem Verkehr und in vollen Umgebungen mit mehreren Robotern wichtig ist.

Wichtige Anwendungen

Vernetzte und automatisierte Fahrzeuge an Kreuzungen und in dichtem Verkehr
Straßenseitige Sensoreinheiten, die Detektionen an vorbeifahrende Fahrzeuge senden
Exploration und Kartierung mit mehreren Robotern
Drohnenschwärme, die Beobachtungen von Zielen teilen
Lagerflotten, die Hindernis- und Personendetektionen teilen

In der Praxis

Zwei autonome Fahrzeuge nähern sich einer Kreuzung, an der ein geparkter Transporter jedem von ihnen die Sicht auf einen querenden Radfahrer versperrt. Jedes Fahrzeug führt ein LiDAR-Backbone aus, das seine Punktwolke in eine Merkmalskarte aus der Vogelperspektive umwandelt, komprimiert sie und sendet sie mit seiner aus GPS und Odometrie bestimmten Pose und einem Zeitstempel. Das empfangende Fahrzeug transformiert die eingehenden Merkmale in sein eigenes Koordinatensystem, kompensiert die Zeitverzögerung anhand der Bewegung des Senders und fusioniert sie in einem aufmerksamkeitsbasierten Modul mit seinen eigenen Merkmalen, bevor der Detektionskopf läuft. Die Ingenieure testen das System in der Simulation mit eingespeistem Posenrauschen und Nachrichtenverzögerungen, weil kleine Fehlausrichtungen doppelte oder verschobene Boxen erzeugen können, die schlimmer sind als gar keine geteilten Daten.

Häufige Missverständnisse

Kooperative Wahrnehmung ist bloß Sensorfusion — sie muss zusätzlich mit relativen Posenfehlern, Kommunikationsverzögerung, begrenzter Bandbreite und dem Vertrauen zwischen getrennten Agenten umgehen
Rohe Sensordaten zu teilen ist immer am besten — sie tragen die meisten Informationen, überschreiten aber oft die praktisch verfügbare Bandbreite, weshalb Fusion auf Merkmalsebene verbreitet ist
Mehr vernetzte Agenten verbessern die Ergebnisse immer — schlecht lokalisierte oder verzögerte Daten können falsche oder verschobene Detektionen hinzufügen, wenn sie nicht sorgfältig ausgerichtet und gewichtet werden

Wer das wissen sollte

Wahrnehmungsingenieure im autonomen Fahren
Forschende zu Multi-Roboter- und Schwarmrobotik
Ingenieure für V2X-Kommunikation
Entwickler intelligenter Infrastruktur

Open Source Robotics