Gaussian process regression

Auch genannt: GPR, GP regression, kriging
Kategorie: Sensing › Perception outputs
Schlagwörter: machine-learning, uncertainty, bayesian-methods, mapping, regression

Ein bayessches, nichtparametrisches Regressionsverfahren, das eine unbekannte Funktion als Gauß-Prozess modelliert und an jedem Abfragepunkt sowohl einen vorhergesagten Mittelwert als auch eine Unsicherheit liefert.

Definition

Gauß-Prozess-Regression (Gaussian process regression, GPR) legt eine A-priori-Verteilung über Funktionen: Jede endliche Menge von Funktionswerten wird als gemeinsam normalverteilt angenommen, mit einer Mittelwertfunktion, oft null, und einer Kovarianz, die ein Kernel k(x, x') vorgibt, der kodiert, wie stark die Ausgaben an zwei Eingaben korreliert sind. Bedingt man diese A-priori-Verteilung auf verrauschte Beobachtungen, erhält man eine A-posteriori-Verteilung, die wieder ein Gauß-Prozess ist, mit geschlossen darstellbarem prädiktivem Mittelwert und prädiktiver Varianz an jeder neuen Eingabe. Die Varianz ist nahe den Daten gering und wächst mit zunehmendem Abstand von ihnen; genau das macht GPR nützlich, wenn ein Roboter wissen muss, wo sein Modell unzuverlässig ist. Das Standardwerk ist Rasmussen und Williams' Gaussian Processes for Machine Learning (2006); in der Geostatistik ist dasselbe Verfahren als Kriging bekannt.

Der Kernel bestimmt, welche Art von Funktionen das Modell erwartet. Der quadratisch-exponentielle Kernel (RBF) erzeugt sehr glatte Funktionen, während die Matérn-Familie rauere zulässt. Kernel-Hyperparameter wie Längenskalen, Signalvarianz und Rauschvarianz werden meist durch Maximierung der marginalen Likelihood der Daten angepasst. Standardkernel sind stationär: Sie nehmen überall dieselbe Glattheit an. Reale Felder wie Geländehöhe, Wassertemperatur oder Schadstoffkonzentration ändern sich oft an manchen Stellen abrupt und an anderen langsam, was nichtstationäre Kernel wie den Attentive Kernel aus dem AK-Paper motiviert.

Die wichtigste praktische Grenze sind die Kosten. Exakte GPR löst ein lineares Gleichungssystem mit einer n × n-Kovarianzmatrix, was für n Datenpunkte O(n³) Zeit und O(n²) Speicher benötigt. Dünnbesetzte Näherungen auf Basis von Stützpunkten (inducing points), lokale GP-Modelle und strukturierte Kernel machen sie für größere Datensätze und an Bord von Robotern praktikabel. Ein weiterer Vorbehalt: Bei festen Hyperparametern hängt die prädiktive Varianz nur davon ab, wo die Daten erhoben wurden, nicht von den Messwerten, sodass ein schlecht angepasster Kernel irreführende Unsicherheit liefert. Annahmen gaußschen Rauschens passen zudem schlecht zu Sensorfehlern mit schweren Verteilungsrändern.

Warum es wichtig ist

GPR liefert Vorhersagen mit Unsicherheit aus kleinen Datensätzen. Roboter nutzen diese Unsicherheit, um zu entscheiden, wo sie als Nächstes messen, wie weit sie einem gelernten Dynamikmodell vertrauen und wie sie dünne Messungen zu kontinuierlichen Karten interpolieren.

Wichtige Anwendungen

Kartierung kontinuierlicher räumlicher Felder wie Temperatur, Salzgehalt oder Gaskonzentration
Lernen von Dynamikmodellen mit Unsicherheit für modellbasierte Regelung
Bayessche Optimierung von Reglerverstärkungen und anderen Parametern
Sicheres Lernen, bei dem Unsicherheitsschranken die Exploration innerhalb der Nebenbedingungen halten
Geländemodellierung aus dünnen Entfernungsdaten

In der Praxis

Ein Team für Umweltmonitoring betreibt ein autonomes Überwasserfahrzeug, das die Wassertemperatur auf einem See misst. Jede Messung wird, mit ihrer GPS-Position versehen, einem GP-Modell hinzugefügt, und die Kernel-Hyperparameter werden mit wachsender Datenmenge regelmäßig neu angepasst. Der A-posteriori-Mittelwert ergibt die Temperaturkarte, und die A-posteriori-Varianz zeigt, welche Bereiche noch schlecht bekannt sind. Der Planer schickt das Fahrzeug innerhalb seines verbleibenden Batteriebudgets zu Orten mit hoher Varianz oder einem anderen hohen Informationsmaß. Wenn der Datensatz wächst, wechselt das Team zu einem dünnbesetzten GP mit Stützpunkten, damit jede Aktualisierung schnell genug für die Online-Neuplanung bleibt.

Häufige Missverständnisse

GP-Unsicherheit ist immer zuverlässig — sie ist nur so gut wie der Kernel und seine Hyperparameter; eine falsche Längenskala ergibt eine zu selbstsichere oder übervorsichtige Varianz
GPR skaliert nicht — exakte Inferenz ist kubisch in der Anzahl der Punkte, aber dünnbesetzte und lokale Näherungen bewältigen große Datensätze
Nichtparametrisch heißt, es gibt keine Parameter — GPs haben trotzdem Kernel-Hyperparameter; nichtparametrisch bedeutet, dass die Komplexität des Modells mit den Daten wächst, statt im Voraus festgelegt zu sein

Wer das wissen sollte

Forschende, die an informativer Pfadplanung und Umweltmonitoring arbeiten
Ingenieure, die gelernte Dynamikmodelle entwickeln
Regelungsingenieure, die bayessche Optimierung zur Abstimmung einsetzen
Praktiker des maschinellen Lernens, die Unsicherheitsschätzungen brauchen

Videos

Gaussian Processes: Mutual Information
Machine Learning Lecture 26 "Gaussian Processes" -Cornell CS4780 SP17: Kilian Weinberger

Wikipedia

Kriging

Open Source Robotics