A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments

Autores: Jason Gibson, Bogdan Vlahov, David Fan, Patrick Spieler, Daniel Pastor, Ali-akbar Agha-mohammadi, Evangelos A. Theodorou · ICRA 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

LSTMs inicializadas dentro de um modelo híbrido baseado em física, treinadas com uma perda de posição integrada, preveem em tempo real trajetórias de 5 s de um veículo fora de estrada para controle MPPI em GPU.

Por que importa

O modelo roda dentro do MPPI com 18.432 amostras em uma única RTX 3080 e continua utilizável no dobro do seu horizonte de treinamento, que é o que um planejador para direção rápida fora de estrada precisa. Como os rótulos vêm apenas da odometria, registros de direção humana, mais baratos, podem ser usados junto com dados autônomos. A comparação também mostra que manter modelos paramétricos simples dos atuadores dentro do modelo aprendido evita grandes erros quando a rede recebe entradas com as quais não foi treinada.

Problema

Controladores preditivos por modelo baseados em amostragem, como o MPPI, precisam de modelos dinâmicos ao mesmo tempo precisos e baratos, já que executam milhões de predições à frente por segundo. Modelos treinados com predição de um único passo são desdobrados recursivamente, de modo que pequenos erros se acumulam ao longo do horizonte, e efeitos lentos são tratados como ruído. A direção fora de estrada acrescenta uma interação com o terreno difícil de modelar e grandes atrasos dos atuadores na direção e na frenagem.

Solução proposta

O modelo do veículo é dividido em modelos aprendidos de atraso dos atuadores para freio e direção (um atraso de primeira ordem com limitação de taxa mais uma pequena rede) e redes de motor e de arrasto do terreno dentro de equações cinemáticas. Cada parte aprendida é uma LSTM cujos estados oculto e de célula são definidos por uma rede inicializadora separada, executada uma vez sobre os dados passados, de modo que todas as amostras do MPPI a reutilizam. O treinamento usa uma perda integrada sobre as posições previstas em um horizonte fixo de 5 s, que precisa apenas de odometria suavizada como rótulos e permite misturar dados de direção humana e autônoma.

Principais ideias

Treinar sobre um horizonte fixo elimina a necessidade de estabilidade de longo prazo da LSTM e, mesmo assim, os modelos permaneceram estáveis a 10 s, o dobro do horizonte de treinamento de 5 s
A rede inicializadora só vê dados passados, então roda uma vez na CPU e seu estado oculto é compartilhado por todas as trajetórias amostradas na GPU
Uma perda de posição integrada permite que as redes produzam grandezas sem rótulos diretos, como forças de arrasto no referencial das rodas, e evita derivar uma odometria ruidosa
Modelos paramétricos de atraso de freio e direção com uma correção aprendida superaram redes de atraso puramente caixa-preta, cujos erros empurravam as redes dinâmicas para entradas não vistas
Um modelo compartilhado de motor, direção e freio, com uma rede de arrasto do terreno trocada conforme o ambiente, cobriu tanto os dados de deserto quanto os de chaparral

Principais resultados

Conjunto de dados de cerca de 650.000 trajetórias de dois ambientes: Helendale (≈300.000 humanas, ≈100.000 autônomas) e Paso Robles (≈100.000 humanas, ≈150.000 autônomas); conjunto de treinamento ≈500.000 e conjunto de teste ≈150.000
Com estados reais dos atuadores (dados combinados), os modelos aprendidos chegaram a cerca de 5 m de erro de distância em t = 10 s (p. ex., HI-LSTM 4,981 ± 17,143 m) contra 11,153 ± 77,551 m da referência paramétrica
Sistema completo com dados autônomos em t = 5 s: HI-LSTM 2,089 ± 3,463 m e 0,145 rad de erro de guinada, contra 7,259 ± 28,837 m e 0,775 rad da K-LSTM cinemática
Sistema completo em t = 10 s: HI-LSTM 5,722 ± 22,936 m contra 21,015 ± 155,293 m da KI-LSTM
Uma iteração do MPPI com 18.432 amostras em uma RTX 3080 levou 59,346 ms e 38,08 kB de memória CUDA para os modelos híbridos, contra 83,708 ms e 62,468 kB para as redes cinemáticas e 23,327 ms para o modelo paramétrico
As redes de direção caixa-preta tiveram cerca de 2× o erro médio de direção de suas contrapartes paramétricas

Limitações

As predições podem não ser suaves nos primeiros passos, embora ainda deem perda baixa; os autores chamam isso de problema em aberto
Para a modelagem apenas do motor e do terreno, a arquitetura híbrida não melhorou significativamente a precisão em relação a redes puramente aprendidas, e a rede inicializadora teve efeito limitado
Assume-se que a classe de ambiente (deserto, área arborizada) é conhecida de antemão e a rede de terreno correspondente é carregada em tempo de execução
O método é sensível à deriva e a pequenos saltos da odometria, que produziram trajetórias curtas dinamicamente inviáveis perto de velocidade zero e saídas excessivamente suavizadas
Validado em um único veículo em dois ambientes; os conjuntos de validação e de teste foram extraídos do mesmo dia de testes

Impacto na área

Finalista do prêmio ICRA 2023 Outstanding Planning Paper, com 26 citações. O artigo fornece um vídeo suplementar; não menciona a liberação de código ou de conjunto de dados.

Resumo

Modelar a dinâmica costuma ser o primeiro passo para tornar um veículo autônomo. Embora veículos autônomos em estrada tenham sido amplamente estudados, veículos fora de estrada apresentam muitos problemas de modelagem desafiadores. Um veículo fora de estrada enfrenta interações terreno/veículo altamente complexas e difíceis de modelar, além de ter uma dinâmica própria complexa. Essas complexidades podem criar desafios para um controle e um planejamento eficazes em alta velocidade. Neste artigo, apresentamos um framework para predição dinâmica de múltiplos passos que trata explicitamente o acúmulo do erro de modelagem e permanece escalável para controladores baseados em amostragem. Nosso método usa uma Long Short-Term Memory (LSTM) inicializada de forma especial sobre um horizonte de tempo limitado como componente aprendido em um modelo híbrido para prever a dinâmica de um veículo todo-terreno de 4 lugares (Polaris S4 1000 RZR) em dois ambientes distintos. Ao fazer a LSTM prever apenas sobre um horizonte de tempo fixo, eliminamos a necessidade de estabilidade de longo prazo, que muitas vezes é um desafio no treinamento de redes neurais recorrentes. Nosso framework é flexível, pois requer apenas informações de odometria como rótulos. Por meio de ampla experimentação, mostramos que nosso método é capaz de prever milhões de trajetórias possíveis em tempo real, com um horizonte de tempo de cinco segundos, em cenários desafiadores de direção fora de estrada.

Open Source Robotics