TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

Auteurs: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un jeu de données tout-terrain de 5 heures et 630 trajectoires issu d'un Yamaha Viking ATV modifié doté de sept modalités, avec des benchmarks de modèles de dynamique latents ; les entrées extéroceptives aident surtout sur terrain accidenté.

Pourquoi c'est important

L'apprentissage de modèles de dynamique nécessite de l'ordre de centaines de milliers d'interactions, et les collecter en tout-terrain est risqué pour le véhicule et ses occupants. Le jeu de données associe les actions à des données proprioceptives et extéroceptives, de sorte que les modèles peuvent être entraînés et comparés sur une interaction réelle entre véhicule et terrain plutôt qu'en simulation. Les benchmarks montrent aussi où les architectures actuelles sont insuffisantes, par exemple la prédiction auxiliaire des observations qui apporte peu sous l'observabilité partielle du monde réel.

Problème

Les robots tout-terrain doivent raisonner sur la dynamique, comme la vitesse et l'angle d'approche, et pas seulement sur la géométrie et la sémantique du terrain, pour éviter de rester bloqués ou d'être endommagés, et les modèles de terrain analytiques sont peu fidèles. Les jeux de données tout-terrain existants ciblent surtout la segmentation sémantique, et ceux qui contiennent des données d'interaction sont petits ou comportent peu de modalités ; Rellis-3D, par exemple, compte environ 20 minutes (12 000 points de données) de trajectoires.

Solution proposée

Les auteurs ont téléopéré un Yamaha Viking ATV modifié à travers de hautes herbes, des rochers, de la boue, des flaques et des pentes raides sur un site d'essai à Pittsburgh, en enregistrant à 10 Hz les actions d'accélérateur et de direction, la pose GNSS, des images RGB stéréo, des cartes de hauteur et RGB en vue de dessus dérivées de la stéréo, l'IMU, le débattement des amortisseurs, le RPM des roues et les interventions de freinage. Ils évaluent des modèles de dynamique dans l'espace latent avec un encodeur par modalité fusionné par un produit d'experts, un modèle latent GRU et des décodeurs par modalité, entraînés avec une perte d'état, de reconstruction ou contrastive, face à un modèle bicyclette cinématique.

Idées clés

• Une analyse t-SNE des déplacements d'état sur une seconde montre que des séquences d'actions similaires peuvent conduire à des mouvements très différents ; une prédiction précise nécessite donc des caractéristiques au-delà de la séquence d'actions.
• Les trois fonctions de perte (état, reconstruction, contrastive) ont donné une précision similaire, ce que les auteurs attribuent à la difficulté de prédire les observations futures en conduite réelle, contrairement aux benchmarks simulés avec un agent sur un fond statique.
• Les séries temporelles proprioceptives (IMU, débattement des amortisseurs, RPM des roues) constituent l'entrée la plus informative, car le RPM des roues est fortement corrélé à la vitesse, mais les entrées caméra et cartes améliorent encore la précision.
• Les entrées extéroceptives aident davantage à mesure que le terrain devient plus pentu et moins régulier.

Principaux résultats

• Taille du jeu de données : le résumé et les contributions indiquent environ 200 000 interactions, tandis que le tableau comparatif des jeux de données (Table I) mentionne 184 000 échantillons ; il a été collecté sous forme de 630 trajectoires, soit environ cinq heures de conduite.
• RMSE de la prédiction d'état moyenne après 20 pas avec la perte d'état : modèle bicyclette cinématique 1,1638, image seule 0,5263, image + cartes 0,3521, séries temporelles 0,2176, toutes modalités 0,1896 ; la plus faible au total était toutes modalités avec la perte de reconstruction, à 0,1674.
• Ajouter les cartes en vue de dessus au modèle image seule a réduit l'erreur de prédiction de 33 % ; ajouter les séries temporelles a amélioré la précision d'environ 45 % en passant d'image + cartes à toutes modalités, et ajouter les modalités image au modèle à séries temporelles d'environ 15 %.
• Ajouter l'extéroception à la proprioception a fait baisser l'erreur de 0,2176 à 0,1896 (13 %) sur l'ensemble d'évaluation d'origine et de 0,7313 à 0,5394 (26 %) sur un ensemble plus difficile collecté séparément.
• L'ensemble plus difficile présente une difficulté médiane de trajectoire (variation moyenne de hauteur par seconde) de 0,2253 m/s contre 0,0866 m/s pour l'original, et 87 % de ses trajectoires dépassent la médiane d'origine.

Limites

• On ne sait pas encore si l'amélioration de la prédiction de la dynamique suffit pour la navigation sur terrain accidenté ; l'intégration des modèles dans une pile de navigation avec des fonctions de coût et des planificateurs adaptés est laissée à des travaux futurs.
• La prédiction auxiliaire des observations sensorielles apporte peu, en raison de l'observabilité partielle de la conduite réelle.
• Les modèles latents ne sont pas entraînés sur des séquences assez longues pour apprendre une quelconque forme de cartographie ou de SLAM, ce qui limite le raisonnement à long terme.
• Avec la perte contrastive, le modèle à séries temporelles et le modèle toutes modalités obtiennent pour l'essentiel les mêmes performances.
• Les données proviennent d'un seul véhicule sur un seul site d'essai, conduit par téléopération humaine plutôt que par des commandes aléatoires pour des raisons de sécurité, les freins étant actionnés par un conducteur humain.

Impact sur le domaine

L'article a été finaliste du ICRA 2022 Outstanding Learning Paper award et compte 113 citations. Le jeu de données est publié sur https://github.com/castacks/tartan_drive, avec une annexe donnant les architectures de réseaux et les hyperparamètres d'entraînement.

Résumé

Nous présentons TartanDrive, un jeu de données à grande échelle pour l'apprentissage de modèles de dynamique pour la conduite tout-terrain. Nous avons collecté un jeu de données d'environ 200 000 interactions de conduite tout-terrain sur un Yamaha Viking ATV modifié, avec sept modalités de capteurs distinctes, sur des terrains variés. À la connaissance des auteurs, il s'agit du plus grand jeu de données multimodal de conduite tout-terrain en conditions réelles, tant par le nombre d'interactions que par les modalités de capteurs. Nous évaluons également sur ce jeu de données plusieurs méthodes de l'état de l'art pour l'apprentissage par renforcement fondé sur un modèle à partir d'observations de grande dimension. Nous constatons que l'extension de ces modèles à la multimodalité conduit à des performances significatives en prédiction de la dynamique tout-terrain, en particulier sur les terrains les plus difficiles. Nous identifions également certaines lacunes des architectures de réseaux de neurones actuelles pour la tâche de conduite tout-terrain. Notre jeu de données est disponible sur https://github.com/castacks/tartan_drive.

Liens

• arXiv 2205.01791: https://arxiv.org/abs/2205.01791
• DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
• PDF: https://arxiv.org/pdf/2205.01791v1
• Code: https://github.com/castacks/tartan_drive