A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments

Autori: Jason Gibson, Bogdan Vlahov, David Fan, Patrick Spieler, Daniel Pastor, Ali-akbar Agha-mohammadi, Evangelos A. Theodorou · ICRA 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

LSTM inizializzate all'interno di un modello ibrido basato sulla fisica, addestrate con una loss di posizione integrata, predicono in tempo reale traiettorie di 5 s di un veicolo fuoristrada per il controllo MPPI su GPU.

Perché è importante

Il modello gira all'interno di MPPI con 18.432 campioni su una sola RTX 3080 e resta utilizzabile al doppio del suo orizzonte di addestramento, che è ciò che serve a un pianificatore per la guida fuoristrada veloce. Poiché le etichette provengono solo dall'odometria, si possono usare registrazioni di guida umana, più economiche, insieme ai dati autonomi. Il confronto mostra anche che mantenere semplici modelli parametrici degli attuatori all'interno del modello appreso evita grandi errori quando la rete riceve input su cui non è stata addestrata.

Problema

I controllori predittivi basati su modello e sul campionamento, come MPPI, hanno bisogno di modelli dinamici al tempo stesso accurati ed economici, poiché eseguono milioni di predizioni in avanti al secondo. I modelli addestrati sulla predizione a un passo vengono srotolati ricorsivamente, quindi piccoli errori si accumulano lungo l'orizzonte, e gli effetti lenti vengono trattati come rumore. La guida fuoristrada aggiunge un'interazione con il terreno difficile da modellare e grandi ritardi degli attuatori su sterzo e frenata.

Soluzione proposta

Il modello del veicolo è suddiviso in modelli appresi del ritardo degli attuatori per freno e sterzo (un ritardo del primo ordine con limitazione di velocità più una piccola rete) e in reti di motore e di resistenza del terreno all'interno di equazioni cinematiche. Ogni parte appresa è una LSTM i cui stati nascosto e di cella sono impostati da una rete di inizializzazione separata eseguita una volta sui dati passati, così tutti i campioni MPPI la riutilizzano. L'addestramento usa una loss integrata sulle posizioni predette su un orizzonte fisso di 5 s, che richiede solo odometria smussata come etichette e consente di mescolare dati di guida umana e autonoma.

Idee chiave

• L'addestramento su un orizzonte fisso elimina la necessità di stabilità a lungo termine della LSTM, eppure i modelli sono rimasti stabili a 10 s, il doppio dell'orizzonte di addestramento di 5 s
• La rete di inizializzazione vede solo dati passati, quindi viene eseguita una volta sulla CPU e il suo stato nascosto è condiviso da tutte le traiettorie campionate sulla GPU
• Una loss di posizione integrata consente alle reti di produrre grandezze senza etichette dirette, come le forze di resistenza nel sistema di riferimento delle ruote, ed evita di derivare un'odometria rumorosa
• Modelli parametrici del ritardo di freno e sterzo con una correzione appresa hanno superato reti di ritardo puramente a scatola nera, i cui errori spingevano le reti dinamiche verso input mai visti
• Un modello condiviso di motore, sterzo e freno, con una rete di resistenza del terreno cambiata a seconda dell'ambiente, ha coperto sia i dati del deserto sia quelli del chaparral

Risultati principali

• Dataset di circa 650.000 traiettorie da due ambienti: Helendale (≈300.000 umane, ≈100.000 autonome) e Paso Robles (≈100.000 umane, ≈150.000 autonome); set di addestramento ≈500.000 e set di test ≈150.000
• Con gli stati reali degli attuatori (dati combinati), i modelli appresi hanno raggiunto circa 5 m di errore di distanza a t = 10 s (ad es. HI-LSTM 4,981 ± 17,143 m) contro 11,153 ± 77,551 m della baseline parametrica
• Sistema completo su dati autonomi a t = 5 s: HI-LSTM 2,089 ± 3,463 m e 0,145 rad di errore di imbardata, contro 7,259 ± 28,837 m e 0,775 rad della K-LSTM cinematica
• Sistema completo a t = 10 s: HI-LSTM 5,722 ± 22,936 m contro 21,015 ± 155,293 m di KI-LSTM
• Un'iterazione di MPPI con 18.432 campioni su una RTX 3080 ha richiesto 59,346 ms e 38,08 kB di memoria CUDA per i modelli ibridi, contro 83,708 ms e 62,468 kB per le reti cinematiche e 23,327 ms per il modello parametrico
• Le reti di sterzo a scatola nera avevano circa 2× l'errore medio di sterzo delle loro controparti parametriche

Limiti

• Le predizioni possono non essere regolari nei primi passi pur dando una loss bassa; gli autori lo definiscono un problema aperto
• Per la sola modellazione di motore e terreno, l'architettura ibrida non ha migliorato significativamente l'accuratezza rispetto a reti puramente apprese, e la rete di inizializzazione ha avuto un effetto limitato
• Si presuppone che la classe di ambiente (deserto, zona boschiva) sia nota in anticipo e la rete di terreno corrispondente viene caricata in fase di esecuzione
• Il metodo è sensibile alla deriva e ai piccoli salti dell'odometria, che hanno prodotto brevi traiettorie dinamicamente irrealizzabili vicino a velocità nulla e uscite eccessivamente smussate
• Validato su un solo veicolo in due ambienti; i set di validazione e di test sono stati estratti dallo stesso giorno di prove

Impatto sul settore

Finalista dell'ICRA 2023 Outstanding Planning Paper award, con 26 citazioni. L'articolo fornisce un video supplementare; non indica il rilascio di codice o di dataset.

Abstract

Modellare la dinamica è spesso il primo passo per rendere autonomo un veicolo. Mentre i veicoli autonomi su strada sono stati studiati ampiamente, i veicoli fuoristrada pongono molti problemi di modellazione impegnativi. Un veicolo fuoristrada affronta interazioni terreno/veicolo molto complesse e difficili da modellare, oltre ad avere una propria dinamica complessa. Queste complessità possono rendere difficili un controllo e una pianificazione efficaci ad alta velocità. In questo articolo introduciamo un framework per la predizione dinamica a più passi che gestisce esplicitamente l'accumulo dell'errore di modellazione e resta scalabile per i controllori basati sul campionamento. Il nostro metodo usa una Long Short-Term Memory (LSTM) inizializzata in modo speciale su un orizzonte temporale limitato come componente appresa di un modello ibrido per predire la dinamica di un veicolo fuoristrada a 4 posti (Polaris S4 1000 RZR) in due ambienti distinti. Facendo predire la LSTM solo su un orizzonte temporale fisso, eliminiamo la necessità di stabilità a lungo termine, che spesso è una difficoltà nell'addestramento delle reti neurali ricorrenti. Il nostro framework è flessibile, poiché richiede solo informazioni di odometria come etichette. Attraverso un'ampia sperimentazione, mostriamo che il nostro metodo è in grado di predire milioni di traiettorie possibili in tempo reale, con un orizzonte temporale di cinque secondi, in scenari impegnativi di guida fuoristrada.

Link

• arXiv 2305.02241: https://arxiv.org/abs/2305.02241
• DOI 10.1109/ICRA48891.2023.10161330: https://doi.org/10.1109/ICRA48891.2023.10161330
• PDF: https://arxiv.org/pdf/2305.02241v1