ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

Auteurs: Dhruv Shah, Sergey Levine · RSS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

ViKiNG associe un contrôleur local fondé sur les images à une recherche de type A* guidée par des images satellite ou des cartes routières, et atteint des buts situés à plus d'un kilomètre après un entraînement sur des parcours de moins de 80 m.

Pourquoi c'est important

Il montre comment des données cartographiques bon marché et imparfaites peuvent guider la navigation robotique à longue distance sans construire de carte géométrique, tandis que la commande reste robuste lorsque la carte est obsolète. Suivre les trottoirs et les sentiers et ressortir des impasses découlent des données d'entraînement et de la recherche, et non de règles écrites à la main.

Problème

Un robot envoyé vers un but lointain dans un environnement extérieur jamais vu a besoin à la fois d'un raisonnement sur la traversabilité locale et d'une connaissance de la géographie plus large. Les méthodes de cartographie géométrique ne tirent pas parti de données préalables, les politiques de navigation apprises n'ont atteint que de courtes portées, et les cartes et le GPS disponibles (précis à 2–5 m, soit 4–10× la taille du robot) peuvent être obsolètes ou erronés, de sorte qu'on ne peut pas s'y fier pour la commande.

Solution proposée

Un modèle de but latent entraîné sur 42 heures de données de conduite hors ligne prend l'image courante et une image de sous-but et prédit la distance temporelle, l'action suivante et le décalage GPS ; un goulot d'information variationnel lui permet aussi d'échantillonner des sous-buts candidats atteignables. Un second modèle, entraîné avec un objectif contrastif sur des trajectoires d'entraînement assemblées par GPS, évalue si un sous-but se trouve sur un chemin menant au but, étant donné une image satellite en vue aérienne ou une carte routière. ViKiNG-A, une recherche physique de type A sur un graphe topologique construit pendant la conduite, n'utilise ce score que comme heuristique, tandis que chaque action de conduite provient de l'image caméra.

Idées clés

• Utiliser les indices géographiques uniquement comme heuristique de recherche, avec une commande issue des images caméra, a permis au robot de continuer à fonctionner lorsque la carte était obsolète (un camion garé en travers du chemin précédent) ou erronée (images satellite décalées d'environ 5 km).
• Assembler des trajectoires d'entraînement qui se chevauchent en macro-trajectoires plus longues selon la position GPS permet à l'heuristique d'apprendre à évaluer des buts bien au-delà de la longueur de n'importe quel parcours d'entraînement isolé.
• Le type d'indice change le comportement : le modèle entraîné sur cartes routières s'en tenait aux routes balisées, tandis que le modèle entraîné sur images satellite coupait à travers les prairies pour un chemin plus court.
• Les comportements de navigation comme le suivi des trottoirs et des sentiers forestiers sont hérités de la partie téléopérée des données d'entraînement ; il n'existe pas de mécanisme distinct qui récompense le fait de rester sur les sentiers.
• La recherche physique diffère de la recherche dans un graphe : le robot ne peut pas sauter vers des nœuds arbitraires et ne connaît pas le coût des arêtes avant de rouler, si bien que ViKiNG-A* ajoute au coût de chaque candidat un coût de déplacement et un terme de nouveauté fondé sur le nombre de visites.

Principaux résultats

• Recherche de but dans 10 environnements jamais vus (Table I) : ViKiNG 3/3 facile (<50 m), 4/4 moyen (50–150 m) et 3/3 difficile (150–500 m) ; RECON-H 3/3, 3/4, 1/3 ; GCG 3/3, 2/4, 0/3 ; clonage de comportement et PPO hors ligne 2/3, 1/4, 0/3.
• Avant une intervention sur les parcours plus difficiles (Table II), le déplacement moyen était de 250,0+ m à 1,36 m/s pour ViKiNG contre 188,3 m à 0,41 m/s pour RECON-H, 78,3 m à 1,40 m/s pour GCG, 47,2 m pour le PPO hors ligne et 19,5 m pour le clonage de comportement.
• Parcours uniques à l'échelle du kilomètre de 1,05 km, 1,20 km et 1,55 km dans des environnements de campus et urbains jamais vus, un sentier de randonnée de 2,73 km avec six points de contrôle et 70 m de dénivelé positif (écrit 2,7 km dans le texte), et une boucle d'inspection périurbaine de 2,65 km sans intervention.
• Le résumé indique des buts jusqu'à 3 km et l'introduction des buts à plus de 2 km atteints en moins de 25 minutes ; les plus longs parcours rapportés dans les expériences font 2,73 km et 2,65 km.
• Sans images en vue aérienne (heuristique de distance GPS seule), le robot a mis 17:20 et parcouru 0,73 km contre 06:40 et 0,31 km avec des images satellite ; sans GPS ni images, il n'a pas atteint le but en plus de 30 minutes.
• La vitesse moyenne en déploiement était de 1,36 m/s contre 1,68 m/s dans les données d'entraînement, dont les trajectoires font en moyenne 45 m.

Limites

• L'article n'a pas de section sur les limites. Sa discussion cite comme travaux futurs l'utilisation d'autres sources d'indices comme des schémas, des cartes papier ou des instructions textuelles, et indique que seules des images satellite ont été utilisées, bien que la Section V-A teste aussi des cartes routières schématiques.
• Le GPS est nécessaire : sans GPS ni images en vue aérienne, la recherche devient non informée et n'a pas atteint le but en plus de 30 minutes.
• La comparaison avec les baselines est restreinte, avec un essai dans chacun des 10 environnements et des buts jusqu'à 500 m ; les parcours à l'échelle du kilomètre et les tests avec indices obsolètes et erronés sont des démonstrations uniques.
• L'heuristique seule ne raisonne qu'à l'échelle de trajectoires d'entraînement isolées, indiquée comme allant jusqu'à 50 m dans la Section III-C, tandis que le résumé et la Section IV-B donnent 80 m comme plus longue trajectoire d'entraînement ; l'évaluation à longue distance dépend de l'assemblage de trajectoires par GPS.
• Sous une canopée dense, l'image satellite n'apporte aucune information utile, si bien que la progression n'y repose que sur le modèle local fondé sur les images.

Impact sur le domaine

Finaliste du RSS 2022 Best Systems Paper Award, et cité 121 fois. L'article ne renvoie vers aucun code ; sa page de projet partage des vidéos des expériences, y compris des vues à la troisième personne des parcours du robot.

Résumé

La navigation robotique a été abordée comme un problème de reconstruction 3D et de planification, ainsi que comme un problème d'apprentissage de bout en bout. Cependant, la navigation à longue distance nécessite à la fois de planifier et de raisonner sur la traversabilité locale, ainsi que de pouvoir utiliser des informations sur la géographie globale, sous la forme d'une carte routière, du GPS ou d'autres informations annexes, qui fournissent des indices de navigation importants mais peuvent être peu fidèles ou peu fiables. Dans ce travail, nous proposons une approche fondée sur l'apprentissage qui intègre apprentissage et planification et peut utiliser des informations annexes telles que des cartes routières schématiques, des cartes satellite et des coordonnées GPS comme heuristique de planification, sans dépendre de leur exactitude. Notre méthode, ViKiNG, intègre un modèle de traversabilité locale, qui examine l'observation caméra courante du robot et un sous-but potentiel pour inférer avec quelle facilité ce sous-but peut être atteint, ainsi qu'un modèle heuristique, qui examine des cartes en vue aérienne et tente d'estimer la distance à la destination pour différents sous-buts. Ces modèles sont utilisés par un planificateur heuristique pour décider du meilleur sous-but suivant afin d'atteindre la destination finale. Notre méthode n'effectue aucune reconstruction géométrique explicite et n'utilise qu'une représentation topologique de l'environnement. Bien qu'il n'ait jamais vu de trajectoires de plus de 80 mètres dans son jeu de données d'entraînement, ViKiNG peut exploiter son contrôleur appris fondé sur les images et son heuristique orientée but pour naviguer vers des buts situés jusqu'à 3 kilomètres dans des environnements jamais vus, et manifeste des comportements complexes comme sonder des chemins potentiels et rebrousser chemin lorsqu'ils s'avèrent impraticables. ViKiNG est également robuste aux cartes et au GPS peu fiables, puisque le contrôleur de bas niveau prend en définitive ses décisions à partir d'observations d'images égocentriques, en n'utilisant les cartes que comme heuristiques de planification.

Liens

• arXiv 2202.11271: https://arxiv.org/abs/2202.11271
• DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
• PDF: https://arxiv.org/pdf/2202.11271v1
• Page du projet: https://sites.google.com/view/viking-release