NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Autori: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un'unica diffusion policy con un'immagine obiettivo opzionale e mascherabile gestisce sia l'esplorazione sia il raggiungimento dell'obiettivo; su un LoCoBot ha battuto la diffusione di sotto-obiettivi in forma di immagine con un modello circa 15× più piccolo.

Perché è importante

Un'unica policy compatta sostituisce una policy condizionata all'obiettivo più un modello separato di generazione di immagini, riducendo la dimensione del modello da 335M a 19M parametri, il che secondo gli autori si adatta a computer di bordo con meno capacità di calcolo. La testa di diffusione manteneva aperte più opzioni senza collisioni agli incroci e restringeva comunque la scelta al percorso giusto quando riceveva un'immagine obiettivo. È stata addestrata su dataset pubblici di navigazione multi-robot (GNM e SACSoN) e provata su un robot reale anziché solo in simulazione.

Problema

Un robot che cerca in un ambiente sconosciuto un obiettivo mostrato in un'immagine ha bisogno di due comportamenti: esplorazione agnostica rispetto al compito per trovare l'obiettivo e navigazione diretta all'obiettivo una volta trovato. I sistemi precedenti dividono questi comportamenti in modelli separati, per esempio una policy condizionata all'obiettivo più un modello di diffusione di immagini da 300M parametri che propone immagini di sotto-obiettivi. L'esplorazione richiede inoltre di rappresentare distribuzioni di azioni multimodali, come sinistra o destra a un incrocio, che classi di policy più semplici riducono a una media.

Soluzione proposta

NoMaD estende la backbone Transformer di ViNT (encoder EfficientNet-B0, 4 strati, 4 teste) con una maschera binaria dell'obiettivo che blocca l'attenzione al token dell'obiettivo, campionata con probabilità 0,5 durante l'addestramento così che un'unica policy apprenda entrambe le modalità. Il contesto delle osservazioni condiziona un modello di diffusione U-Net condizionale 1D che rimuove il rumore da una sequenza di 8 azioni future in 10 passi. La policy è abbinata a una memoria a grafo topologico e a un'esplorazione basata sulle frontiere, seguendo l'impostazione di ViKiNG.

Idee chiave

Mascherare il token dell'obiettivo durante l'addestramento consente a un'unica rete di apprendere sia il comportamento condizionato all'obiettivo sia quello non diretto senza perdere prestazioni in nessuna delle due modalità.
Modellare le azioni direttamente con la diffusione, invece di generare immagini di sotto-obiettivi, ha catturato scelte di esplorazione multimodali con un modello molto più piccolo.
La predizione autoregressiva su azioni discretizzate potrebbe in linea di principio rappresentare più modi, ma le sue predizioni erano in gran parte unimodali e la policy messa in opera era scattosa e lenta a reagire agli ostacoli in movimento.
La scelta dell'encoder visivo ha contato: l'encoder di ViNT con mascheramento dell'obiettivo basato sull'attenzione si è addestrato bene con la diffusione, mentre un encoder ViT no.

Risultati principali

Esplorazione in ambienti mai visti: NoMaD 98 % di successo con 0,2 collisioni per esperimento, contro Subgoal Diffusion 77 % / 1,7 (335M parametri), Autoregressive 90 % / 2,0, Random Subgoals 70 % / 2,7, Masked ViNT 50 % / 1,0 e VIB 30 % / 4,0.
Navigazione in ambienti noti con un grafo topologico: NoMaD 90 % di successo, come Subgoal Diffusion e Random Subgoals.
Policy unificate contro dedicate: NoMaD (19M) ha raggiunto il 98 % di successo non diretto e il 92 % condizionato all'obiettivo, eguagliando Diffusion Policy (15M, 98 % non diretto) e la policy ViNT (16M, 92 % condizionato all'obiettivo).
Ablazione dell'encoder: successo / collisioni sono stati 52 % / 3,2 per una CNN a fusione tardiva, 68 % / 1,5 per una CNN a fusione anticipata, 32 % / 2,5 per un ViT e 98 % / 0,2 per NoMaD.
NoMaD usa 19M parametri contro i 335M di Subgoal Diffusion, cosa che l'articolo descrive come 15× in meno.
L'articolo dà due conteggi per gli ambienti di prova: 6 nell'impostazione della valutazione (sezione V) e 5 nella discussione della tabella I.

Limiti

Gli obiettivi sono specificati solo come immagini, che secondo gli autori non sono sempre la modalità più naturale per gli utenti; linguaggio e coordinate spaziali sono lasciati a lavori futuri.
La pianificazione di alto livello usa una strategia standard di esplorazione basata sulle frontiere; non viene usata una selezione semantica o basata su conoscenze pregresse delle regioni da esplorare.
Nell'esplorazione NoMaD ha avuto successo in tutti gli ambienti di prova tranne il più difficile.
La valutazione nel mondo reale ha usato una sola piattaforma robotica, il LoCoBot.

Impatto sul settore

NoMaD ha vinto l'ICRA 2024 Best Conference Paper Award ed è stato finalista dell'ICRA 2024 Best Paper Award in Cognitive Robotics e del Best Student Paper Award. Gli autori hanno rilasciato il codice e i checkpoint dei modelli preaddestrati tramite la pagina del progetto.

Abstract

L'apprendimento robotico per la navigazione in ambienti sconosciuti deve fornire policy sia per la navigazione orientata al compito (cioè raggiungere un obiettivo che il robot ha localizzato) sia per l'esplorazione agnostica rispetto al compito (cioè cercare un obiettivo in un ambiente nuovo). Di solito questi ruoli sono gestiti da modelli separati, per esempio usando proposte di sotto-obiettivi, pianificazione o strategie di navigazione separate. In questo articolo descriviamo come addestrare un'unica policy di diffusione unificata per gestire sia la navigazione diretta a un obiettivo sia l'esplorazione agnostica rispetto all'obiettivo, dove quest'ultima fornisce la capacità di esplorare ambienti nuovi e la prima la capacità di raggiungere un obiettivo specificato dall'utente una volta localizzato. Mostriamo che questa policy unificata porta a prestazioni complessive migliori nella navigazione verso obiettivi indicati visivamente in ambienti nuovi, rispetto ad approcci che usano proposte di sotto-obiettivi da modelli generativi o a metodi precedenti basati su modelli a variabili latenti. Istanziamo il nostro metodo usando una policy su larga scala basata su Transformer, addestrata su dati di più robot terrestri, con un decodificatore a modello di diffusione per gestire in modo flessibile sia la navigazione condizionata all'obiettivo sia quella agnostica rispetto all'obiettivo. I nostri esperimenti, condotti su una piattaforma robotica mobile reale, mostrano una navigazione efficace in ambienti mai visti rispetto a cinque metodi alternativi e dimostrano miglioramenti significativi delle prestazioni e tassi di collisione più bassi, nonostante l'uso di modelli più piccoli rispetto agli approcci allo stato dell'arte. Per altri video, il codice e i checkpoint dei modelli preaddestrati, si veda https://general-navigation-models.github.io/nomad/

Link

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
Codice: https://github.com/PrieureDeSion/visualnav-transformer
Pagina del progetto: https://general-navigation-models.github.io/nomad/