A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments

Auteurs: Jason Gibson, Bogdan Vlahov, David Fan, Patrick Spieler, Daniel Pastor, Ali-akbar Agha-mohammadi, Evangelos A. Theodorou · ICRA 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des LSTM initialisés au sein d'un modèle hybride fondé sur la physique, entraînés avec une perte de position intégrée, prédisent en temps réel des trajectoires de 5 s d'un véhicule tout-terrain pour une commande MPPI sur GPU.

Pourquoi c'est important

Le modèle tourne au sein de MPPI avec 18 432 échantillons sur une seule RTX 3080 et reste exploitable au double de son horizon d'entraînement, ce dont a besoin un planificateur pour la conduite tout-terrain rapide. Comme les étiquettes ne proviennent que de l'odométrie, des enregistrements de conduite humaine moins coûteux peuvent être utilisés aux côtés des données autonomes. La comparaison montre aussi que conserver de simples modèles paramétriques d'actionneurs au sein du modèle appris évite de grandes erreurs dès que le réseau rencontre des entrées sur lesquelles il n'a pas été entraîné.

Problème

Les contrôleurs prédictifs par échantillonnage comme MPPI ont besoin de modèles dynamiques à la fois précis et peu coûteux, car ils exécutent des millions de prédictions directes par seconde. Les modèles entraînés à la prédiction sur un pas sont déroulés récursivement, si bien que de petites erreurs s'accumulent sur l'horizon et que les effets lents sont traités comme du bruit. La conduite tout-terrain ajoute des interactions avec le terrain difficiles à modéliser et de grands retards d'actionneurs sur la direction et le freinage.

Solution proposée

Le modèle du véhicule est divisé en modèles appris de retard d'actionneur pour le frein et la direction (un retard du premier ordre à vitesse limitée plus un petit réseau) et en réseaux de moteur et de traînée du terrain insérés dans des équations cinématiques. Chaque partie apprise est un LSTM dont les états caché et de cellule sont fixés par un réseau d'initialisation distinct exécuté une seule fois sur les données passées, de sorte que tous les échantillons MPPI le réutilisent. L'entraînement utilise une perte intégrée sur les positions prédites sur un horizon fixe de 5 s, qui ne nécessite qu'une odométrie lissée comme étiquettes et permet de mélanger données de conduite humaine et autonome.

Idées clés

• L'entraînement sur un horizon fixe supprime le besoin de stabilité à long terme du LSTM, et pourtant les modèles sont restés stables à 10 s, soit le double de l'horizon d'entraînement de 5 s
• Le réseau d'initialisation ne voit que des données passées ; il s'exécute donc une seule fois sur le CPU, et son état caché est partagé par toutes les trajectoires échantillonnées sur le GPU
• Une perte de position intégrée permet aux réseaux de produire des grandeurs sans étiquettes directes, comme les forces de traînée dans le repère de la roue, et évite de dériver une odométrie bruitée
• Des modèles paramétriques de retard de freinage et de direction avec une correction apprise ont surpassé des réseaux de retard purement boîte noire, dont les erreurs poussaient les réseaux de dynamique vers des entrées jamais vues
• Un modèle commun de moteur, de direction et de frein, avec un réseau de traînée du terrain commuté selon l'environnement, a couvert à la fois les données du désert et celles du chaparral

Principaux résultats

• Jeu de données d'environ 650 000 trajectoires issues de deux environnements : Helendale (≈300 000 humaines, ≈100 000 autonomes) et Paso Robles (≈100 000 humaines, ≈150 000 autonomes) ; ensemble d'entraînement ≈500 000 et ensemble de test ≈150 000
• Avec les états réels des actionneurs (données combinées), les modèles appris ont atteint une erreur de distance d'environ 5 m à t = 10 s (par exemple HI-LSTM 4,981 ± 17,143 m), contre 11,153 ± 77,551 m pour la référence paramétrique
• Système complet sur données autonomes à t = 5 s : HI-LSTM 2,089 ± 3,463 m et 0,145 rad d'erreur de lacet, contre 7,259 ± 28,837 m et 0,775 rad pour le K-LSTM cinématique
• Système complet à t = 10 s : HI-LSTM 5,722 ± 22,936 m contre 21,015 ± 155,293 m pour KI-LSTM
• Une itération MPPI avec 18 432 échantillons sur une RTX 3080 a pris 59,346 ms et 38,08 kB de mémoire CUDA pour les modèles hybrides, contre 83,708 ms et 62,468 kB pour les réseaux cinématiques et 23,327 ms pour le modèle paramétrique
• Les réseaux de direction boîte noire présentaient environ 2× l'erreur moyenne de direction de leurs équivalents paramétriques

Limites

• Les prédictions peuvent être non lisses sur les deux ou trois premiers pas tout en donnant une perte faible ; les auteurs qualifient cela de problème en cours
• Pour la seule modélisation du moteur et du terrain, l'architecture hybride n'a pas amélioré significativement la précision par rapport aux réseaux purement appris, et le réseau d'initialisation a eu un effet limité
• La classe d'environnement (désert, zone boisée) est supposée connue à l'avance, et le réseau de terrain correspondant est chargé à l'exécution
• La méthode est sensible à la dérive de l'odométrie et aux petits sauts, qui ont produit de courtes trajectoires dynamiquement irréalisables près de la vitesse nulle et des sorties trop lissées
• Validée sur un seul véhicule dans deux environnements ; les ensembles de validation et de test proviennent de la même journée d'essais

Impact sur le domaine

Finaliste du prix ICRA 2023 Outstanding Planning Paper, avec 26 citations. L'article fournit une vidéo supplémentaire ; il n'indique aucune publication de code ni de jeu de données.

Résumé

La modélisation de la dynamique est souvent la première étape pour rendre un véhicule autonome. Si les véhicules autonomes routiers ont été largement étudiés, les véhicules tout-terrain posent de nombreux problèmes de modélisation difficiles. Un véhicule tout-terrain est soumis à des interactions terrain/véhicule très complexes et difficiles à modéliser, tout en ayant lui-même une dynamique complexe. Ces complexités peuvent compliquer une commande et une planification efficaces à grande vitesse. Dans cet article, nous présentons un cadre de prédiction de la dynamique sur plusieurs pas qui traite explicitement l'accumulation de l'erreur de modélisation et reste extensible pour les contrôleurs par échantillonnage. Notre méthode utilise un Long Short-Term Memory (LSTM) spécialement initialisé sur un horizon temporel limité comme composante apprise d'un modèle hybride, afin de prédire la dynamique d'un véhicule tout-terrain à 4 places (Polaris S4 1000 RZR) dans deux environnements distincts. En ne faisant prédire le LSTM que sur un horizon temporel fixe, nous supprimons le besoin de stabilité à long terme, souvent difficile à obtenir lors de l'entraînement de réseaux de neurones récurrents. Notre cadre est flexible, car il ne requiert que des informations d'odométrie comme étiquettes. Par une expérimentation approfondie, nous montrons que notre méthode peut prédire des millions de trajectoires possibles en temps réel, avec un horizon temporel de cinq secondes, dans des scénarios de conduite tout-terrain difficiles.

Liens

• arXiv 2305.02241: https://arxiv.org/abs/2305.02241
• DOI 10.1109/ICRA48891.2023.10161330: https://doi.org/10.1109/ICRA48891.2023.10161330
• PDF: https://arxiv.org/pdf/2305.02241v1