NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Auteurs: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

Licences

Accès libre
Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une seule politique de diffusion avec une image cible facultative et masquable gère à la fois l'exploration et l'atteinte du but ; sur un LoCoBot, elle a battu la diffusion de sous-buts en image avec un modèle environ 15× plus petit.

Pourquoi c'est important

Une politique compacte remplace une politique conditionnée par le but et un modèle de génération d'images séparé, faisant passer la taille du modèle de 335M à 19M paramètres, ce qui, selon les auteurs, convient aux ordinateurs embarqués disposant de moins de puissance de calcul. La tête de diffusion gardait plusieurs options sans collision ouvertes aux intersections et se resserrait pourtant sur le bon chemin lorsqu'une image cible était donnée. Elle a été entraînée sur des jeux de données publics de navigation multi-robots (GNM et SACSoN) et testée sur un robot réel plutôt qu'uniquement en simulation.

Problème

Un robot qui cherche dans un environnement inconnu un but montré sur une image a besoin de deux comportements : une exploration indépendante de la tâche pour trouver le but, et une navigation dirigée vers le but une fois celui-ci trouvé. Les systèmes antérieurs répartissaient ces rôles entre des modèles distincts, par exemple une politique conditionnée par le but et un modèle de diffusion d'images de 300M paramètres qui propose des images de sous-buts. L'exploration exige aussi de représenter des distributions d'actions multimodales, comme gauche ou droite à une intersection, que des classes de politiques plus simples moyennent.

Solution proposée

NoMaD étend le backbone Transformer de ViNT (encodeurs EfficientNet-B0, 4 couches, 4 têtes) avec un masque de but binaire qui bloque l'attention vers le token de but, tiré avec une probabilité de 0,5 pendant l'entraînement afin qu'une seule politique apprenne les deux modes. Le contexte d'observation conditionne un modèle de diffusion U-Net conditionnel 1D qui débruite une séquence de 8 actions futures en 10 étapes. La politique est associée à une mémoire en graphe topologique et à une exploration fondée sur les frontières, selon la configuration de ViKiNG.

Idées clés

Masquer le token de but pendant l'entraînement permet à un seul réseau d'apprendre à la fois un comportement conditionné par le but et un comportement non dirigé, sans perte de performance dans aucun des deux modes.
Modéliser directement les actions par diffusion, au lieu de générer des images de sous-buts, a permis de capturer des choix d'exploration multimodaux avec un modèle beaucoup plus petit.
La prédiction autorégressive sur des actions discrétisées pourrait en principe représenter plusieurs modes, mais ses prédictions étaient en grande partie unimodales et la politique déployée était saccadée et lente à réagir aux obstacles mobiles.
Le choix de l'encodeur visuel comptait : l'encodeur ViNT avec masquage du but par attention s'entraînait bien avec la diffusion, contrairement à un encodeur ViT.

Principaux résultats

Exploration dans des environnements jamais vus : NoMaD 98 % de réussite avec 0,2 collision par expérience, contre Subgoal Diffusion 77 % / 1,7 (335M paramètres), Autoregressive 90 % / 2,0, Random Subgoals 70 % / 2,7, Masked ViNT 50 % / 1,0 et VIB 30 % / 4,0.
Navigation dans des environnements connus avec un graphe topologique : NoMaD 90 % de réussite, comme Subgoal Diffusion et Random Subgoals.
Politiques unifiées contre dédiées : NoMaD (19M) a atteint 98 % de réussite en mode non dirigé et 92 % en mode conditionné par le but, à égalité avec Diffusion Policy (15M, 98 % non dirigé) et la politique ViNT (16M, 92 % conditionné par le but).
Ablation de l'encodeur : réussite / collisions de 52 % / 3,2 pour un CNN à fusion tardive, 68 % / 1,5 pour un CNN à fusion précoce, 32 % / 2,5 pour un ViT et 98 % / 0,2 pour NoMaD.
NoMaD utilise 19M paramètres contre 335M pour Subgoal Diffusion, ce que l'article décrit comme 15× moins.
L'article donne deux nombres pour les environnements de test : 6 dans le dispositif d'évaluation (section V) et 5 dans la discussion du tableau I.

Limites

Les buts ne sont spécifiés que sous forme d'images, ce qui, notent les auteurs, n'est pas toujours la modalité la plus naturelle pour les utilisateurs ; le langage et les coordonnées spatiales sont laissés à des travaux futurs.
La planification de haut niveau utilise une stratégie d'exploration standard fondée sur les frontières ; aucune sélection des régions à explorer fondée sur la sémantique ou des connaissances préalables n'est utilisée.
En exploration, NoMaD a réussi dans tous les environnements de test sauf le plus difficile.
L'évaluation en conditions réelles a utilisé une seule plateforme robotique, le LoCoBot.

Impact sur le domaine

NoMaD a reçu le ICRA 2024 Best Conference Paper Award et a été finaliste du ICRA 2024 Best Paper Award in Cognitive Robotics et du Best Student Paper Award. Les auteurs ont publié le code et les points de contrôle des modèles pré-entraînés via la page du projet.

Résumé

L'apprentissage robotique pour la navigation dans des environnements inconnus doit fournir des politiques à la fois pour la navigation orientée tâche (c'est-à-dire atteindre un but que le robot a localisé) et pour l'exploration indépendante de la tâche (c'est-à-dire chercher un but dans un cadre nouveau). Habituellement, ces rôles sont assurés par des modèles distincts, par exemple au moyen de propositions de sous-buts, de planification ou de stratégies de navigation séparées. Dans cet article, nous décrivons comment entraîner une seule politique de diffusion unifiée pour gérer à la fois la navigation dirigée vers un but et l'exploration indépendante du but, la seconde fournissant la capacité de parcourir des environnements nouveaux, et la première la capacité d'atteindre un but spécifié par l'utilisateur une fois celui-ci localisé. Nous montrons que cette politique unifiée offre de meilleures performances globales lors de la navigation vers des buts indiqués visuellement dans des environnements nouveaux, par rapport aux approches qui utilisent des propositions de sous-buts issues de modèles génératifs, ou aux méthodes antérieures fondées sur des modèles à variables latentes. Nous instancions notre méthode au moyen d'une politique à grande échelle fondée sur un Transformer, entraînée sur des données provenant de plusieurs robots terrestres, avec un décodeur à modèle de diffusion pour gérer de manière flexible la navigation conditionnée par le but et la navigation indépendante du but. Nos expériences, menées sur une plateforme de robot mobile réelle, montrent une navigation efficace dans des environnements jamais vus en comparaison de cinq méthodes alternatives, et démontrent des améliorations significatives des performances et des taux de collision plus faibles, malgré l'utilisation de modèles plus petits que les approches de l'état de l'art. Pour plus de vidéos, le code et les points de contrôle des modèles pré-entraînés, voir https://general-navigation-models.github.io/nomad/

Liens

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
Code: https://github.com/PrieureDeSion/visualnav-transformer
Page du projet: https://general-navigation-models.github.io/nomad/