NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Autoren: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine einzige Diffusion Policy mit optionalem, maskierbarem Zielbild übernimmt sowohl Erkundung als auch Zielerreichung; auf einem LoCoBot schlug sie Diffusion mit Bild-Teilzielen bei einem etwa 15× kleineren Modell.

Warum es wichtig ist

Eine kompakte Policy ersetzt eine zielkonditionierte Policy plus ein separates Bildgenerierungsmodell und senkt die Modellgröße von 335M auf 19M Parameter, was laut den Autoren zu Bordrechnern mit weniger Rechenleistung passt. Der Diffusionskopf hielt an Kreuzungen mehrere kollisionsfreie Optionen offen und verengte sich dennoch auf den richtigen Weg, wenn ein Zielbild gegeben war. Trainiert wurde auf öffentlichen Navigationsdatensätzen mehrerer Roboter (GNM und SACSoN), getestet auf einem realen Roboter statt nur in der Simulation.

Problem

Ein Roboter, der in einer unbekannten Umgebung nach einem in einem Bild gezeigten Ziel sucht, braucht zwei Verhaltensweisen: aufgabenunabhängige Erkundung, um das Ziel zu finden, und zielgerichtete Navigation, sobald es gefunden ist. Frühere Systeme teilten diese auf getrennte Modelle auf, etwa eine zielkonditionierte Policy plus ein Bild-Diffusionsmodell mit 300M Parametern, das Teilzielbilder vorschlägt. Erkundung erfordert außerdem die Darstellung multimodaler Aktionsverteilungen, etwa links oder rechts an einer Kreuzung, die einfachere Policy-Klassen wegmitteln.

Lösungsansatz

NoMaD erweitert das ViNT-Transformer-Backbone (EfficientNet-B0-Encoder, 4 Schichten, 4 Köpfe) um eine binäre Zielmaske, die die Aufmerksamkeit auf das Ziel-Token blockiert und im Training mit Wahrscheinlichkeit 0,5 gezogen wird, sodass eine Policy beide Modi lernt. Der Beobachtungskontext konditioniert ein 1D-konditionales U-Net-Diffusionsmodell, das eine Folge von 8 zukünftigen Aktionen in 10 Schritten entrauscht. Die Policy wird nach dem Vorbild von ViKiNG mit einem topologischen Graphgedächtnis und frontierbasierter Erkundung kombiniert.

Wichtigste Erkenntnisse

Das Maskieren des Ziel-Tokens im Training lässt ein einzelnes Netz sowohl zielkonditioniertes als auch ungerichtetes Verhalten lernen, ohne in einem der beiden Modi Leistung zu verlieren.
Aktionen direkt mit Diffusion zu modellieren, statt Teilzielbilder zu erzeugen, erfasste multimodale Erkundungsentscheidungen mit einem viel kleineren Modell.
Autoregressive Vorhersage über diskretisierte Aktionen könnte prinzipiell mehrere Modi darstellen, doch ihre Vorhersagen waren weitgehend unimodal, und die eingesetzte Policy war ruckartig und reagierte langsam auf bewegte Hindernisse.
Die Wahl des visuellen Encoders war entscheidend: Der ViNT-Encoder mit aufmerksamkeitsbasierter Zielmaskierung ließ sich gut mit Diffusion trainieren, ein ViT-Encoder dagegen nicht.

Hauptergebnisse

Erkundung in unbekannten Umgebungen: NoMaD 98 % Erfolg bei 0,2 Kollisionen pro Experiment, gegenüber Subgoal Diffusion 77 % / 1,7 (335M Parameter), Autoregressive 90 % / 2,0, Random Subgoals 70 % / 2,7, Masked ViNT 50 % / 1,0 und VIB 30 % / 4,0.
Navigation in bekannten Umgebungen mit topologischem Graphen: NoMaD 90 % Erfolg, gleich wie Subgoal Diffusion und Random Subgoals.
Vereinheitlichte gegenüber dedizierten Policies: NoMaD (19M) erreichte 98 % ungerichteten und 92 % zielkonditionierten Erfolg und lag damit gleichauf mit Diffusion Policy (15M, 98 % ungerichtet) und der ViNT-Policy (16M, 92 % zielkonditioniert).
Encoder-Ablation: Erfolg / Kollisionen betrugen 52 % / 3,2 für ein CNN mit später Fusion, 68 % / 1,5 für ein CNN mit früher Fusion, 32 % / 2,5 für einen ViT und 98 % / 0,2 für NoMaD.
NoMaD verwendet 19M Parameter gegenüber 335M bei Subgoal Diffusion, was das Paper als 15× weniger beschreibt.
Das Paper nennt zwei Zahlen für die Testumgebungen: 6 im Evaluationsaufbau (Abschnitt V) und 5 in der Diskussion von Tabelle I.

Einschränkungen

Ziele werden nur als Bilder angegeben, was laut den Autoren nicht immer die natürlichste Modalität für Nutzer ist; Sprache und räumliche Koordinaten bleiben künftiger Arbeit überlassen.
Die übergeordnete Planung nutzt eine standardmäßige frontierbasierte Erkundungsstrategie; eine Auswahl der zu erkundenden Bereiche auf Basis von Semantik oder Vorwissen wird nicht verwendet.
Bei der Erkundung war NoMaD in allen Testumgebungen außer der schwierigsten erfolgreich.
Die Evaluierung in der realen Welt nutzte eine einzige Roboterplattform, den LoCoBot.

Wirkung auf das Fachgebiet

NoMaD erhielt den ICRA 2024 Best Conference Paper Award und war Finalist für den ICRA 2024 Best Paper Award in Cognitive Robotics und den Best Student Paper Award. Die Autoren haben Code und vortrainierte Modell-Checkpoints über die Projektseite veröffentlicht.

Zusammenfassung

Robotisches Lernen für die Navigation in unbekannten Umgebungen muss Policies sowohl für die aufgabenorientierte Navigation (d. h. das Erreichen eines Ziels, das der Roboter lokalisiert hat) als auch für die aufgabenunabhängige Erkundung (d. h. die Suche nach einem Ziel in einer neuen Umgebung) bereitstellen. Typischerweise werden diese Rollen von getrennten Modellen übernommen, etwa durch Teilzielvorschläge, Planung oder getrennte Navigationsstrategien. In diesem Paper beschreiben wir, wie wir eine einzige vereinheitlichte Diffusion Policy trainieren können, die sowohl zielgerichtete Navigation als auch zielunabhängige Erkundung beherrscht, wobei Letztere die Fähigkeit liefert, neue Umgebungen zu durchsuchen, und Erstere die Fähigkeit, ein vom Nutzer vorgegebenes Ziel zu erreichen, sobald es lokalisiert ist. Wir zeigen, dass diese vereinheitlichte Policy bei der Navigation zu visuell angegebenen Zielen in neuen Umgebungen insgesamt bessere Leistung erzielt als Ansätze, die Teilzielvorschläge aus generativen Modellen verwenden, oder frühere Methoden auf Basis von Modellen mit latenten Variablen. Wir instanziieren unsere Methode mit einer großskaligen Transformer-basierten Policy, die auf Daten mehrerer Bodenroboter trainiert wurde, und einem Diffusionsmodell-Decoder, der sowohl zielkonditionierte als auch zielunabhängige Navigation flexibel handhabt. Unsere Experimente auf einer realen mobilen Roboterplattform zeigen im Vergleich mit fünf alternativen Methoden eine effektive Navigation in unbekannten Umgebungen und belegen deutliche Leistungsverbesserungen und niedrigere Kollisionsraten, obwohl kleinere Modelle als bei State-of-the-Art-Ansätzen verwendet werden. Weitere Videos, Code und vortrainierte Modell-Checkpoints finden sich unter https://general-navigation-models.github.io/nomad/

Open Source Robotics