AK: Attentive Kernel for Information Gathering

Autoren: Weizhe Chen, Roni Khardon, Lantao Liu · RSS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein nichtstationärer GP-Kernel, der feste Längenskalen mischt und Korrelationen über scharfe Änderungen hinweg maskiert, sodass die Kartenunsicherheit dem tatsächlichen Fehler folgt und der Roboter dort Proben nimmt, wo es darauf ankommt.

Warum es wichtig ist

Wenn das Modell eines probennehmenden Roboters dort hohe Unsicherheit angibt, wo sein Fehler hoch ist, verwendet der Planer das Probenbudget für komplexe Bereiche, statt den Raum gleichmäßig abzudecken. Da der Kernel jeden bestehenden Basiskernel umschließt, lässt er sich in bestehende GP-basierte Pipelines für Kartierung und informative Planung einsetzen, und der Feldtest zeigt ihn im Betrieb auf einem Oberflächenfahrzeug bei der bathymetrischen Kartierung.

Problem

Robotic Information Gathering wählt anhand der Unsicherheit eines probabilistischen Modells aus, wo ein Roboter als Nächstes Proben nimmt; meist ist das ein Gauß-Prozess mit einem stationären Kernel wie RBF. Reales Gelände ist nicht stationär: Manche Bereiche variieren viel stärker als andere, sodass ein stationäres Modell übermäßig glättet und hohe Unsicherheit einfach unbesuchten Bereichen zuweist, unabhängig vom Fehler. Bestehende nichtstationäre Kernel sind oft zu flexibel, um zuverlässig trainiert zu werden.

Lösungsansatz

Der Attentive Kernel kombiniert zwei gelernte, eingabeabhängige Auswahlen. Die Längenskalenauswahl mischt eine feste Menge von Basiskerneln mit voreingestellten Längenskalen über Softmax-Gewichte aus einem kleinen neuronalen Netz, statt eine Längenskalenfunktion zu lernen. Die Instanzauswahl gibt jeder Eingabe einen weichen Zugehörigkeitsvektor, dessen Skalarprodukt Korrelationen zwischen Punkten auf entgegengesetzten Seiten scharfer Übergänge maskiert; alle Parameter werden durch Maximierung der marginalen Likelihood des GP angepasst, und die resultierende Unsicherheit steuert einen Wegpunktplaner, der Entropie minus Distanz bewertet.

Wichtigste Erkenntnisse

Die Auswahl aus voreingestellten Längenskalen statt des Lernens einer freien Längenskalenfunktion macht einen nichtstationären Kernel leichter trainierbar und mit jedem Basiskernel kompatibel.
Das Maskieren von Korrelationen mit weichen Zugehörigkeitsvektoren bewältigt abrupte Änderungen, die eine kleine Längenskala allein nicht gut modellieren kann.
Besser kalibrierte Unsicherheit, nicht ein besserer Planer, reichte aus, um die informative Planung zu verbessern: Mit demselben einfachen Planer konzentrierte AK die Proben in Bereichen mit hohem Fehler, während RBF den Raum gleichmäßig abdeckte.
Die Ablation zeigte, dass die Längenskalenauswahl notwendig ist; die Instanzauswahl brachte mit dem aktuellen Trainingsschema keinen signifikanten Gewinn in den aggregierten Metriken, die Autoren erwarten jedoch, dass sie an scharfen Übergängen hilft.
Nach der Normierung der Eingaben änderte sich die Leistung kaum mit der Anzahl der Basiskernel (5 bis 10 empfohlen), der verborgenen Einheiten und den Grenzen der Längenskalen.

Hauptergebnisse

Über vier Höhenkartenumgebungen und 10 zufällige Seeds hinweg hatte AK in den Experimenten zur informativen Planung die niedrigsten SMSE- und MSLL-Werte gegenüber RBF, Gibbs und Deep Kernel Learning (Metriken über die Probenkurve gemittelt).
Informative Planung auf N17E073: SMSE 0,114 für AK gegenüber 0,145 RBF, 0,143 Gibbs und 0,138 DKL; MSLL −1,27 gegenüber −0,97, −1,16 und −1,01.
Aktive Probennahme auf N43W080: SMSE 0,051 für AK gegenüber 0,078 für RBF; MSLL −1,72 gegenüber −1,41.
Zufällige Probennahme auf N17E073: SMSE 0,111 für AK gegenüber 0,133 für RBF; MSLL −1,24 gegenüber −0,99.
Im Feldtest sammelte ein autonomes Oberflächenfahrzeug mit nach unten gerichtetem Einstrahl-Sonar die meisten Proben in Bereichen mit drastischen Höhenänderungen und verringerte die Vorhersageunsicherheit im gesamten Arbeitsbereich (qualitatives Ergebnis).

Einschränkungen

Die Autoren merken an, dass der Ockhams-Rasiermesser-Effekt der marginalen Likelihood Überanpassung nicht verhindert, wenn nichtstationäre Kernel über viele Iterationen trainiert werden; sie verwenden ein faustregelbasiertes Early-Stopping-Schema und bezeichnen ein prinzipientreues Training als offenes Problem.
Ausreißer und heteroskedastisches Rauschen werden nicht behandelt und als künftige Arbeit genannt.
Die Instanzauswahl brachte mit dem aktuellen Trainingsschema keine messbare Verbesserung in den aggregierten Metriken, und eine Variante mit zwei Netzen verschlechterte die Unsicherheit in einer Umgebung.
Die Benchmarks verwenden nur 2D-Höhenkarten, und das Feldexperiment ist ein einzelner qualitativer Lauf ohne berichteten numerischen Fehler.
Die Kosten des Kernels wachsen mit der Anzahl der Basiskernel (O(N²M) für die Kernelmatrizen), zusätzlich zur üblichen Skalierung von GPs.

Wirkung auf das Fachgebiet

Die Arbeit gewann den RSS 2022 Best Student Paper Award und hat 22 Zitationen. Sie veröffentlicht den Code zur Reproduzierbarkeit sowie PyPolo, eine Softwarebibliothek für die Forschung zu Robotic Information Gathering.

Zusammenfassung

Robotic Information Gathering (RIG) stützt sich auf die Unsicherheit eines probabilistischen Modells, um kritische Bereiche für eine effiziente Datenerfassung zu identifizieren. Gauß-Prozesse (GPs) mit stationären Kerneln sind für die räumliche Modellierung weit verbreitet. Reale räumliche Daten erfüllen jedoch typischerweise nicht die Annahme der Stationarität, bei der angenommen wird, dass verschiedene Orte denselben Grad an Variabilität aufweisen. Infolgedessen erfasst die Vorhersageunsicherheit den Vorhersagefehler nicht genau, was den Erfolg von RIG-Algorithmen einschränkt. Wir schlagen eine neuartige Familie nichtstationärer Kernel vor, den Attentive Kernel (AK), der einfach und robust ist und jeden bestehenden Kernel zu einem nichtstationären erweitern kann. Wir evaluieren den neuen Kernel in Aufgaben der Höhenkartierung, in denen AK eine bessere Genauigkeit und Unsicherheitsquantifizierung liefert als der häufig verwendete RBF-Kernel und andere verbreitete nichtstationäre Kernel. Die verbesserte Unsicherheitsquantifizierung leitet den nachgelagerten RIG-Planer an, rund um den Bereich mit hohem Fehler wertvollere Daten zu sammeln, was die Vorhersagegenauigkeit weiter erhöht. Ein Feldexperiment zeigt, dass die vorgeschlagene Methode ein Autonomous Surface Vehicle (ASV) anleiten kann, die Datenerfassung an Orten mit hoher räumlicher Variation zu priorisieren, sodass das Modell die markanten Umgebungsmerkmale charakterisieren kann.

Open Source Robotics