TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

Autori: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un dataset fuoristrada di 5 ore e 630 traiettorie da un ATV Yamaha Viking modificato con sette modalità, più benchmark di modelli dinamici latenti; gli ingressi esterocettivi aiutano soprattutto su terreno accidentato.

Perché è importante

L'apprendimento di modelli dinamici richiede dell'ordine di centinaia di migliaia di interazioni, e raccoglierle fuoristrada è rischioso per il veicolo e i suoi occupanti. Il dataset associa le azioni a dati propriocettivi ed esterocettivi, così i modelli possono essere addestrati e confrontati sull'interazione reale tra veicolo e terreno invece che in simulazione. I benchmark mostrano anche dove le architetture attuali sono carenti, per esempio la previsione ausiliaria delle osservazioni che aggiunge poco in condizioni di osservabilità parziale del mondo reale.

Problema

I robot fuoristrada devono ragionare sulla dinamica, come la velocità e l'angolo di avvicinamento, e non solo sulla geometria e sulla semantica del terreno, per evitare di restare bloccati o danneggiarsi, e i modelli analitici del terreno hanno bassa fedeltà. I dataset fuoristrada esistenti mirano per lo più alla segmentazione semantica, e quelli con dati di interazione sono piccoli o hanno poche modalità; Rellis-3D, per esempio, ha circa 20 minuti (12.000 punti dati) di traiettorie.

Soluzione proposta

Gli autori hanno teleoperato un ATV Yamaha Viking modificato tra erba alta, rocce, fango, pozzanghere e pendii ripidi in un sito di prova a Pittsburgh, registrando a 10 Hz le azioni di acceleratore e sterzo, la posa GNSS, immagini RGB stereo, mappe dall'alto di altezza e RGB ricavate dalla stereo, la IMU, l'escursione degli ammortizzatori, gli RPM delle ruote e gli interventi sul freno. Valutano modelli dinamici nello spazio latente con un encoder per modalità fusi tramite un prodotto di esperti, un modello latente GRU e decoder per modalità, addestrati con perdite di stato, di ricostruzione o contrastive, a confronto con un modello cinematico della bicicletta.

Idee chiave

• Un'analisi t-SNE degli spostamenti di stato in un secondo mostra che sequenze di azioni simili possono portare a movimenti molto diversi, quindi una previsione accurata richiede caratteristiche oltre alla sequenza di azioni.
• Le tre funzioni di perdita (di stato, di ricostruzione e contrastiva) hanno dato un'accuratezza simile, che gli autori attribuiscono al fatto che le osservazioni future sono difficili da prevedere nella guida reale, a differenza dei benchmark simulati con un agente su uno sfondo statico.
• I dati propriocettivi in serie temporali (IMU, escursione degli ammortizzatori, RPM delle ruote) sono l'ingresso più informativo, poiché gli RPM delle ruote sono fortemente correlati con la velocità, ma gli ingressi da telecamera e mappe aggiungono comunque accuratezza.
• Gli ingressi esterocettivi aiutano di più man mano che il terreno diventa più ripido e meno regolare.

Risultati principali

• Dimensione del dataset: l'abstract e i contributi indicano circa 200.000 interazioni, mentre la tabella di confronto dei dataset (Tabella I) riporta 184.000 campioni; è stato raccolto come 630 traiettorie, circa cinque ore di guida.
• RMSE della previsione dello stato medio dopo 20 passi con la perdita di stato: modello cinematico della bicicletta 1,1638, solo immagine 0,5263, immagine + mappe 0,3521, serie temporali 0,2176, tutte le modalità 0,1896; il valore più basso in assoluto è stato tutte le modalità con la perdita di ricostruzione, 0,1674.
• Aggiungere le mappe dall'alto al modello solo immagine ha ridotto l'errore di previsione del 33 %; aggiungere i dati in serie temporali ha migliorato l'accuratezza di circa il 45 % da immagine + mappe a tutte le modalità, e aggiungere le modalità di immagine al modello a serie temporali di circa il 15 %.
• Aggiungere l'esterocezione alla propriocezione ha ridotto l'errore da 0,2176 a 0,1896 (13 %) sull'insieme di valutazione originale e da 0,7313 a 0,5394 (26 %) su un insieme più difficile raccolto separatamente.
• L'insieme più difficile ha una difficoltà mediana delle traiettorie (variazione media di altezza al secondo) di 0,2253 m/s contro 0,0866 m/s dell'originale, e l'87 % delle sue traiettorie supera la mediana originale.

Limiti

• Resta da verificare se la migliore previsione della dinamica sia sufficiente per la navigazione su terreno accidentato; l'integrazione dei modelli in uno stack di navigazione con funzioni di costo e pianificatori adeguati è lasciata a lavori futuri.
• La previsione ausiliaria delle osservazioni sensoriali dà scarso beneficio a causa dell'osservabilità parziale della guida nel mondo reale.
• I modelli latenti non sono addestrati su sequenze abbastanza lunghe da apprendere alcuna forma di mappatura o SLAM, il che limita il ragionamento a lungo termine.
• Con la perdita contrastiva, i modelli a serie temporali e a tutte le modalità hanno prestazioni sostanzialmente uguali.
• I dati provengono da un solo veicolo in un solo sito di prova, guidato in teleoperazione umana invece che con comandi casuali per sicurezza, con i freni azionati da un conducente umano.

Impatto sul settore

L'articolo è stato finalista del premio ICRA 2022 Outstanding Learning Paper e ha 113 citazioni. Il dataset è rilasciato su https://github.com/castacks/tartan_drive, insieme a un'appendice con le architetture di rete e gli iperparametri di addestramento.

Abstract

Presentiamo TartanDrive, un dataset su larga scala per l'apprendimento di modelli dinamici per la guida fuoristrada. Abbiamo raccolto un dataset di circa 200.000 interazioni di guida fuoristrada su un ATV Yamaha Viking modificato, con sette modalità di rilevamento distinte su terreni diversi. Per quanto noto agli autori, si tratta del più grande dataset multimodale di guida fuoristrada nel mondo reale, sia per numero di interazioni sia per modalità di rilevamento. Su questo dataset valutiamo inoltre diversi metodi allo stato dell'arte di apprendimento per rinforzo basato su modello a partire da osservazioni ad alta dimensionalità. Troviamo che estendere questi modelli alla multimodalità porta a prestazioni significative nella previsione della dinamica fuoristrada, specialmente sui terreni più impegnativi. Individuiamo anche alcune carenze delle attuali architetture di reti neurali per il compito della guida fuoristrada. Il nostro dataset è disponibile su https://github.com/castacks/tartan_drive.

Link

• arXiv 2205.01791: https://arxiv.org/abs/2205.01791
• DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
• PDF: https://arxiv.org/pdf/2205.01791v1
• Codice: https://github.com/castacks/tartan_drive