ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

Autoren: Dhruv Shah, Sergey Levine · RSS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

ViKiNG kombiniert einen bildbasierten lokalen Regler mit einer A*-ähnlichen Suche, die von Satellitenbildern oder Straßenkarten geleitet wird, und erreicht nach Training auf Fahrten unter 80 m über einen Kilometer entfernte Ziele.

Warum es wichtig ist

Die Arbeit zeigt, wie günstige, unvollkommene Kartendaten die Roboternavigation über große Entfernungen leiten können, ohne eine geometrische Karte aufzubauen, während die Steuerung robust bleibt, wenn die Karte veraltet ist. Das Folgen von Gehwegen und Pfaden und das Zurücksetzen aus Sackgassen ergeben sich aus den Trainingsdaten und der Suche, nicht aus handgeschriebenen Regeln.

Problem

Ein Roboter, der in einer ungesehenen Außenumgebung zu einem entfernten Ziel geschickt wird, benötigt sowohl Schlussfolgerungen über die lokale Befahrbarkeit als auch Wissen über die weitere Geographie. Geometrische Kartierungsmethoden profitieren nicht von vorhandenen Daten, gelernte Navigations-Policies haben nur kurze Reichweiten erreicht, und die verfügbaren Karten und GPS (genau auf 2–5 m, das 4–10× der Robotergröße) können veraltet oder falsch sein, sodass man ihnen für die Steuerung nicht vertrauen kann.

Lösungsansatz

Ein latentes Zielmodell, trainiert auf 42 Stunden Offline-Fahrdaten, nimmt das aktuelle Bild und ein Teilzielbild und sagt die zeitliche Distanz, die nächste Aktion und den GPS-Versatz vorher; ein variationeller Informationsengpass erlaubt es außerdem, erreichbare Kandidaten-Teilziele zu samplen. Ein zweites Modell, trainiert mit einem kontrastiven Ziel auf per GPS zusammengefügten Trainingstrajektorien, bewertet, ob ein Teilziel auf einem Weg zum Ziel liegt, gegeben ein Satellitenbild aus der Vogelperspektive oder eine Straßenkarte. ViKiNG-A, eine A-ähnliche physische Suche über einen während der Fahrt aufgebauten topologischen Graphen, nutzt diese Bewertung nur als Heuristik, während jede Fahraktion aus dem Kamerabild stammt.

Wichtigste Erkenntnisse

Geographische Hinweise nur als Suchheuristik zu nutzen, mit Steuerung aus Kamerabildern, hielt den Roboter funktionsfähig, wenn die Karte veraltet (ein quer über dem vorherigen Weg geparkter Lkw) oder falsch war (Satellitenbilder um etwa 5 km versetzt).
Das Zusammenfügen überlappender Trainingstrajektorien zu längeren Makrotrajektorien anhand der GPS-Position erlaubt es der Heuristik, Ziele weit jenseits der Länge jeder einzelnen Trainingsfahrt bewerten zu lernen.
Die Art des Hinweises verändert das Verhalten: Das mit Straßenkarten trainierte Modell hielt sich an markierte Straßen, während das mit Satellitenbildern trainierte Modell für einen kürzeren Weg über Wiesen abkürzte.
Navigationsverhalten wie das Folgen von Gehwegen und Waldpfaden ist vom teleoperierten Teil der Trainingsdaten geerbt; es gibt keinen separaten Mechanismus, der das Bleiben auf Pfaden belohnt.
Physische Suche unterscheidet sich von Graphsuche: Der Roboter kann nicht zu beliebigen Knoten springen und kennt Kantenkosten nicht vor dem Fahren, daher fügt ViKiNG-A* den Kosten jedes Kandidaten Fahrkosten und einen Neuheitsterm auf Basis der Besuchsanzahl hinzu.

Hauptergebnisse

Zielsuche in 10 ungesehenen Umgebungen (Table I): ViKiNG 3/3 leicht (<50 m), 4/4 mittel (50–150 m) und 3/3 schwer (150–500 m); RECON-H 3/3, 3/4, 1/3; GCG 3/3, 2/4, 0/3; Behavior Cloning und Offline-PPO 2/3, 1/4, 0/3.
Vor einem Eingriff auf den schwierigeren Fahrten (Table II) betrug die mittlere zurückgelegte Strecke 250,0+ m bei 1,36 m/s für ViKiNG gegenüber 188,3 m bei 0,41 m/s für RECON-H, 78,3 m bei 1,40 m/s für GCG, 47,2 m für Offline-PPO und 19,5 m für Behavior Cloning.
Einzelne Fahrten im Kilometermaßstab von 1,05 km, 1,20 km und 1,55 km in ungesehenen Campus- und Stadtumgebungen, ein 2,73 km langer Wanderweg mit sechs Kontrollpunkten und 70 m Höhengewinn (im Text als 2,7 km angegeben) und eine 2,65 km lange Inspektionsrunde in einem Vorort ohne Eingriffe.
Die Zusammenfassung nennt Ziele in bis zu 3 km Entfernung, und die Einleitung nennt Ziele in über 2 km Entfernung, die in unter 25 Minuten erreicht wurden; die längsten in den Experimenten berichteten Fahrten sind 2,73 km und 2,65 km.
Ohne Bilder aus der Vogelperspektive (nur GPS-Distanzheuristik) benötigte der Roboter 17:20 und 0,73 km gegenüber 06:40 und 0,31 km mit Satellitenbildern; ohne GPS und ohne Bilder erreichte er das Ziel in über 30 Minuten nicht.
Die mittlere Geschwindigkeit im Einsatz betrug 1,36 m/s gegenüber 1,68 m/s in den Trainingsdaten, deren Trajektorien im Mittel 45 m lang sind.

Einschränkungen

Die Arbeit hat keinen Abschnitt zu Einschränkungen. Ihre Diskussion nennt als künftige Arbeit die Nutzung anderer Hinweisquellen wie Schemapläne, Papierkarten oder Textanweisungen und sagt, es seien nur Satellitenbilder verwendet worden, obwohl Section V-A auch schematische Straßenkarten testet.
GPS ist erforderlich: Ohne GPS und ohne Bilder aus der Vogelperspektive wird die Suche uninformiert und erreichte das Ziel in über 30 Minuten nicht.
Der Vergleich mit Baselines ist klein, mit einem Versuch in jeder der 10 Umgebungen und Zielen bis 500 m; die Fahrten im Kilometermaßstab und die Tests mit veralteten und falschen Hinweisen sind Einzeldemonstrationen.
Die Heuristik allein schließt nur im Maßstab einzelner Trainingstrajektorien, in Section III-C mit bis zu 50 m angegeben, während die Zusammenfassung und Section IV-B 80 m als längste Trainingstrajektorie nennen; die Bewertung über große Entfernungen hängt vom Zusammenfügen von Trajektorien per GPS ab.
Unter einem dichten Kronendach trägt das Satellitenbild keine nützliche Information, daher stützt sich der Fortschritt dort nur auf das lokale bildbasierte Modell.

Wirkung auf das Fachgebiet

Finalist für den RSS 2022 Best Systems Paper Award und 121-mal zitiert. Die Arbeit verlinkt keinen Code; ihre Projektseite stellt Experimentvideos bereit, darunter Aufnahmen der Roboterfahrten aus der Perspektive Dritter.

Zusammenfassung

Roboternavigation wurde als Problem der 3D-Rekonstruktion und Planung sowie als End-to-End-Lernproblem angegangen. Navigation über große Entfernungen erfordert jedoch sowohl Planung als auch Schlussfolgern über die lokale Befahrbarkeit sowie die Fähigkeit, Informationen über die globale Geographie in Form einer Straßenkarte, von GPS oder anderen Zusatzinformationen zu nutzen, die wichtige Navigationshinweise liefern, aber ungenau oder unzuverlässig sein können. In dieser Arbeit schlagen wir einen lernbasierten Ansatz vor, der Lernen und Planung integriert und Zusatzinformationen wie schematische Straßenkarten, Satellitenkarten und GPS-Koordinaten als Planungsheuristik nutzen kann, ohne sich auf ihre Genauigkeit zu verlassen. Unsere Methode, ViKiNG, umfasst ein lokales Befahrbarkeitsmodell, das die aktuelle Kamerabeobachtung des Roboters und ein potenzielles Teilziel betrachtet, um abzuleiten, wie leicht dieses Teilziel erreicht werden kann, sowie ein Heuristikmodell, das Karten aus der Vogelperspektive betrachtet und versucht, die Entfernung zum Ziel für verschiedene Teilziele zu schätzen. Diese Modelle werden von einem heuristischen Planer genutzt, um das beste nächste Teilziel zum Erreichen des endgültigen Ziels zu bestimmen. Unsere Methode führt keine explizite geometrische Rekonstruktion durch und nutzt nur eine topologische Repräsentation der Umgebung. Obwohl ViKiNG in seinem Trainingsdatensatz nie Trajektorien länger als 80 Meter gesehen hat, kann es seinen bildbasierten gelernten Regler und seine zielgerichtete Heuristik nutzen, um in zuvor ungesehenen Umgebungen zu bis zu 3 Kilometer entfernten Zielen zu navigieren, und zeigt komplexe Verhaltensweisen wie das Erkunden potenzieller Wege und das Umkehren, wenn sie sich als nicht gangbar erweisen. ViKiNG ist außerdem robust gegenüber unzuverlässigen Karten und GPS, da der Low-Level-Regler letztlich Entscheidungen auf Basis egozentrischer Bildbeobachtungen trifft und Karten nur als Planungsheuristiken verwendet.

Open Source Robotics