TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

Autoren: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Offroad-Datensatz aus 5 Stunden und 630 Trajektorien von einem modifizierten Yamaha Viking ATV mit sieben Modalitäten, dazu Benchmarks latenter Dynamikmodelle; exterozeptive Eingaben helfen am meisten in rauem Gelände.

Warum es wichtig ist

Das Lernen von Dynamikmodellen erfordert Interaktionen in der Größenordnung von Hunderttausenden, und sie im Gelände zu sammeln, ist riskant für Fahrzeug und Insassen. Der Datensatz verknüpft Aktionen mit propriozeptiven und exterozeptiven Daten, sodass Modelle an realer Interaktion zwischen Fahrzeug und Gelände statt in der Simulation trainiert und verglichen werden können. Die Benchmarks zeigen auch, wo aktuelle Architekturen an Grenzen stoßen, etwa dass die zusätzliche Vorhersage von Beobachtungen unter der Teilbeobachtbarkeit der realen Welt wenig bringt.

Problem

Offroad-Roboter müssen Dynamik wie Geschwindigkeit und Anfahrwinkel berücksichtigen, nicht nur Geometrie und Semantik des Geländes, um nicht stecken zu bleiben oder beschädigt zu werden, und analytische Geländemodelle haben eine geringe Genauigkeit. Bestehende Offroad-Datensätze zielen meist auf semantische Segmentierung, und jene mit Interaktionsdaten sind klein oder haben wenige Modalitäten; Rellis-3D etwa umfasst Trajektorien von etwa 20 Minuten (12.000 Datenpunkte).

Lösungsansatz

Die Autoren steuerten ein modifiziertes Yamaha Viking ATV per Teleoperation durch hohes Gras, Felsen, Schlamm, Pfützen und steile Hänge auf einem Testgelände in Pittsburgh und zeichneten mit 10 Hz Gas- und Lenkaktionen, GNSS-Pose, Stereo-RGB-Bilder, aus Stereo abgeleitete Höhen- und RGB-Karten in Draufsicht, IMU, Federweg der Stoßdämpfer, Rad-RPM und Bremseingriffe auf. Sie benchmarken Dynamikmodelle im latenten Raum mit einem Encoder pro Modalität, fusioniert über ein Product of Experts, einem latenten GRU-Modell und Decodern pro Modalität, trainiert mit Zustands-, Rekonstruktions- oder kontrastivem Verlust, gegenüber einem kinematischen Einspurmodell.

Wichtigste Erkenntnisse

Eine t-SNE-Analyse von Zustandsverschiebungen über eine Sekunde zeigt, dass ähnliche Aktionsfolgen zu sehr unterschiedlichen Bewegungen führen können, sodass eine genaue Vorhersage Merkmale über die Aktionsfolge hinaus braucht.
Die drei Verlustfunktionen (Zustand, Rekonstruktion, kontrastiv) ergaben ähnliche Genauigkeit, was die Autoren darauf zurückführen, dass zukünftige Beobachtungen beim realen Fahren schwer vorherzusagen sind, anders als in simulierten Benchmarks mit einem Agenten vor statischem Hintergrund.
Propriozeptive Zeitreihendaten (IMU, Federweg der Stoßdämpfer, Rad-RPM) sind die informativste Eingabe, da die Rad-RPM stark mit der Geschwindigkeit korreliert, doch Kamera- und Karteneingaben verbessern die Genauigkeit dennoch.
Exterozeptive Eingaben helfen umso mehr, je steiler und unebener das Gelände wird.

Hauptergebnisse

Datensatzgröße: Zusammenfassung und Beiträge nennen rund 200.000 Interaktionen, während die Vergleichstabelle der Datensätze (Table I) 184.000 Samples aufführt; gesammelt wurde er als 630 Trajektorien, etwa fünf Stunden Fahrt.
RMSE der mittleren Zustandsvorhersage nach 20 Schritten mit dem Zustandsverlust: kinematisches Einspurmodell 1,1638, nur Bild 0,5263, Bild + Karten 0,3521, Zeitreihen 0,2176, alle Modalitäten 0,1896; der insgesamt niedrigste Wert war alle Modalitäten mit Rekonstruktionsverlust bei 0,1674.
Das Hinzufügen von Karten in Draufsicht zum reinen Bildmodell senkte den Vorhersagefehler um 33 %; das Hinzufügen von Zeitreihendaten verbesserte die Genauigkeit von Bild + Karten zu allen Modalitäten um etwa 45 %, das Hinzufügen von Bildmodalitäten zum Zeitreihenmodell um etwa 15 %.
Die Ergänzung der Propriozeption um Exterozeption senkte den Fehler auf dem ursprünglichen Evaluationsset von 0,2176 auf 0,1896 (13 %) und auf einem separat gesammelten, schwierigeren Set von 0,7313 auf 0,5394 (26 %).
Das schwierigere Set hat eine mediane Trajektorienschwierigkeit (durchschnittliche Höhenänderung pro Sekunde) von 0,2253 m/s gegenüber 0,0866 m/s beim ursprünglichen, und 87 % seiner Trajektorien liegen über dem ursprünglichen Median.

Einschränkungen

Ob die verbesserte Dynamikvorhersage für die Navigation über raues Gelände ausreicht, ist noch ungetestet; die Integration der Modelle in einen Navigations-Stack mit geeigneten Kostenfunktionen und Planern bleibt künftiger Arbeit überlassen.
Die zusätzliche Vorhersage sensorischer Beobachtungen bringt wegen der Teilbeobachtbarkeit beim realen Fahren wenig Nutzen.
Die latenten Modelle werden nicht auf Sequenzen trainiert, die lang genug sind, um irgendeine Form von Kartierung oder SLAM zu lernen, was längerfristiges Schließen begrenzt.
Mit dem kontrastiven Verlust schneiden das Zeitreihenmodell und das Modell mit allen Modalitäten im Wesentlichen gleich ab.
Die Daten stammen von einem Fahrzeug auf einem Testgelände, aus Sicherheitsgründen per menschlicher Teleoperation statt mit zufälligen Steuerbefehlen gefahren, wobei ein menschlicher Fahrer die Bremsen bediente.

Wirkung auf das Fachgebiet

Das Paper war Finalist für den ICRA 2022 Outstanding Learning Paper award und hat 113 Zitierungen. Der Datensatz ist unter https://github.com/castacks/tartan_drive veröffentlicht, zusammen mit einem Anhang, der Netzarchitekturen und Trainings-Hyperparameter angibt.

Zusammenfassung

Wir stellen TartanDrive vor, einen groß angelegten Datensatz zum Lernen von Dynamikmodellen für das Fahren im Gelände. Wir haben auf einem modifizierten Yamaha Viking ATV mit sieben verschiedenen Sensormodalitäten in unterschiedlichem Gelände einen Datensatz von rund 200.000 Offroad-Fahrinteraktionen gesammelt. Nach Kenntnis der Autoren ist dies der größte multimodale Offroad-Fahrdatensatz aus der realen Welt, sowohl was die Zahl der Interaktionen als auch die Sensormodalitäten betrifft. Außerdem benchmarken wir auf diesem Datensatz mehrere Methoden nach dem Stand der Technik für modellbasiertes bestärkendes Lernen aus hochdimensionalen Beobachtungen. Wir stellen fest, dass die Erweiterung dieser Modelle auf Multimodalität zu einer erheblichen Leistung bei der Offroad-Dynamikvorhersage führt, insbesondere in anspruchsvollerem Gelände. Zudem zeigen wir einige Schwächen aktueller neuronaler Netzarchitekturen für die Aufgabe des Offroad-Fahrens auf. Unser Datensatz ist verfügbar unter https://github.com/castacks/tartan_drive.

Open Source Robotics