NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Autores: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una única diffusion policy con una imagen objetivo opcional y enmascarable gestiona tanto la exploración como el alcance del objetivo; en un LoCoBot superó a la difusión de subobjetivos de imagen con un modelo unas 15× más pequeño.

Por qué importa

Una única política compacta sustituye a una política condicionada por objetivo más un modelo independiente de generación de imágenes, reduciendo el tamaño del modelo de 335M a 19M parámetros, lo que según los autores conviene a ordenadores de a bordo con menos capacidad de cálculo. La cabeza de difusión mantenía abiertas varias opciones sin colisión en los cruces y aun así se ceñía al camino correcto cuando recibía una imagen objetivo. Se entrenó con conjuntos de datos públicos de navegación multirrobot (GNM y SACSoN) y se probó en un robot real, no solo en simulación.

Problema

Un robot que busca en un entorno desconocido un objetivo mostrado en una imagen necesita dos comportamientos: exploración agnóstica a la tarea para encontrar el objetivo y navegación dirigida al objetivo una vez encontrado. Los sistemas anteriores separan estas funciones en modelos distintos, por ejemplo una política condicionada por objetivo más un modelo de difusión de imágenes de 300M parámetros que propone imágenes de subobjetivos. La exploración también exige representar distribuciones de acciones multimodales, como izquierda o derecha en un cruce, que las clases de políticas más simples promedian.

Solución propuesta

NoMaD amplía la red troncal de transformador de ViNT (codificadores EfficientNet-B0, 4 capas, 4 cabezas) con una máscara binaria de objetivo que bloquea la atención al token del objetivo, muestreada con probabilidad 0,5 durante el entrenamiento para que una sola política aprenda ambos modos. El contexto de observación condiciona un modelo de difusión U-Net condicional 1D que elimina el ruido de una secuencia de 8 acciones futuras en 10 pasos. La política se combina con una memoria de grafo topológico y exploración basada en fronteras, siguiendo la configuración de ViKiNG.

Ideas clave

Enmascarar el token del objetivo durante el entrenamiento permite que una sola red aprenda tanto el comportamiento condicionado por objetivo como el no dirigido sin perder rendimiento en ninguno de los dos modos.
Modelar las acciones directamente con difusión, en lugar de generar imágenes de subobjetivos, capturó elecciones de exploración multimodales con un modelo mucho más pequeño.
La predicción autorregresiva sobre acciones discretizadas podría en principio representar varios modos, pero sus predicciones fueron en gran medida unimodales y la política desplegada era brusca y lenta para reaccionar a obstáculos en movimiento.
La elección del codificador visual importó: el codificador de ViNT con enmascaramiento del objetivo basado en atención se entrenó bien con difusión, mientras que un codificador ViT no.

Resultados principales

Exploración en entornos no vistos: NoMaD 98 % de éxito con 0,2 colisiones por experimento, frente a Subgoal Diffusion 77 % / 1,7 (335M parámetros), Autoregressive 90 % / 2,0, Random Subgoals 70 % / 2,7, Masked ViNT 50 % / 1,0 y VIB 30 % / 4,0.
Navegación en entornos conocidos con un grafo topológico: NoMaD 90 % de éxito, igual que Subgoal Diffusion y Random Subgoals.
Políticas unificadas frente a dedicadas: NoMaD (19M) alcanzó un 98 % de éxito no dirigido y un 92 % condicionado por objetivo, igualando a Diffusion Policy (15M, 98 % no dirigido) y a la política ViNT (16M, 92 % condicionado por objetivo).
Ablación del codificador: éxito / colisiones fueron 52 % / 3,2 para una CNN de fusión tardía, 68 % / 1,5 para una CNN de fusión temprana, 32 % / 2,5 para un ViT y 98 % / 0,2 para NoMaD.
NoMaD usa 19M parámetros frente a 335M de Subgoal Diffusion, lo que el artículo describe como 15× menos.
El artículo da dos cifras para los entornos de prueba: 6 en la configuración de evaluación (sección V) y 5 en la discusión de la tabla I.

Limitaciones

Los objetivos se especifican solo como imágenes, que según los autores no siempre son la modalidad más natural para los usuarios; el lenguaje y las coordenadas espaciales quedan para trabajos futuros.
La planificación de alto nivel usa una estrategia estándar de exploración basada en fronteras; no se usa una selección semántica o basada en conocimiento previo de las regiones que explorar.
En exploración, NoMaD tuvo éxito en todos los entornos de prueba salvo el más difícil.
La evaluación en el mundo real usó una sola plataforma robótica, el LoCoBot.

Impacto en el campo

NoMaD ganó el ICRA 2024 Best Conference Paper Award y fue finalista del ICRA 2024 Best Paper Award in Cognitive Robotics y del Best Student Paper Award. Los autores publicaron el código y checkpoints de modelos preentrenados a través de la página del proyecto.

Resumen

El aprendizaje robótico para la navegación en entornos desconocidos debe proporcionar políticas tanto para la navegación orientada a la tarea (es decir, alcanzar un objetivo que el robot ha localizado) como para la exploración agnóstica a la tarea (es decir, buscar un objetivo en un entorno nuevo). Normalmente, estas funciones se gestionan con modelos separados, por ejemplo mediante propuestas de subobjetivos, planificación o estrategias de navegación separadas. En este artículo describimos cómo entrenar una única política de difusión unificada para gestionar tanto la navegación dirigida a un objetivo como la exploración agnóstica al objetivo, de modo que esta última aporta la capacidad de buscar en entornos nuevos y la primera, la capacidad de alcanzar un objetivo especificado por el usuario una vez localizado. Mostramos que esta política unificada da un mejor rendimiento global al navegar hacia objetivos indicados visualmente en entornos nuevos, en comparación con enfoques que usan propuestas de subobjetivos de modelos generativos o con métodos anteriores basados en modelos de variables latentes. Instanciamos nuestro método con una política a gran escala basada en transformadores, entrenada con datos de múltiples robots terrestres, con un decodificador de modelo de difusión para gestionar de forma flexible tanto la navegación condicionada por objetivo como la agnóstica al objetivo. Nuestros experimentos, realizados en una plataforma de robot móvil real, muestran una navegación eficaz en entornos no vistos en comparación con cinco métodos alternativos y demuestran mejoras significativas de rendimiento y menores tasas de colisión, pese a utilizar modelos más pequeños que los enfoques del estado del arte. Para más vídeos, código y checkpoints de modelos preentrenados, consulte https://general-navigation-models.github.io/nomad/

Enlaces

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
Código: https://github.com/PrieureDeSion/visualnav-transformer
Página del proyecto: https://general-navigation-models.github.io/nomad/