Gaussian process regression

• Detto anche: GPR, GP regression, kriging
• Categoria: Sensing › Perception outputs
• Tag: machine-learning, uncertainty, bayesian-methods, mapping, regression

Un metodo di regressione bayesiano e non parametrico che modella una funzione sconosciuta come un processo gaussiano, fornendo sia una media prevista sia un'incertezza in ogni punto di interrogazione.

Definizione

Regressione con processi gaussiani (GPR) (Gaussian process regression) pone una distribuzione a priori sulle funzioni: si assume che qualsiasi insieme finito di valori della funzione sia congiuntamente gaussiano, con una funzione media, spesso zero, e una covarianza data da un kernel k(x, x') che codifica quanto sono correlate le uscite in due ingressi. Condizionare questo prior a osservazioni rumorose dà una distribuzione a posteriori che è di nuovo un processo gaussiano, con media e varianza predittive in forma chiusa in qualsiasi nuovo ingresso. La varianza è bassa vicino ai dati e cresce lontano da essi, ed è questo che rende utile la GPR quando un robot deve sapere dove il suo modello non è affidabile. Il riferimento standard è Gaussian Processes for Machine Learning (2006) di Rasmussen e Williams; in geostatistica lo stesso metodo è noto come kriging.

Il kernel determina che tipo di funzioni il modello si aspetta. Il kernel esponenziale quadratico (RBF) produce funzioni molto regolari, mentre la famiglia di Matérn ne consente di più irregolari. Gli iperparametri del kernel, come le scale di lunghezza, la varianza del segnale e la varianza del rumore, vengono di solito stimati massimizzando la verosimiglianza marginale dei dati. I kernel standard sono stazionari: assumono la stessa regolarità ovunque. I campi reali, come l'altitudine del terreno, la temperatura dell'acqua o la concentrazione di un inquinante, cambiano spesso bruscamente in alcuni punti e lentamente in altri, il che motiva kernel non stazionari come l'attentive kernel dell'articolo AK.

Il principale limite pratico è il costo. La GPR esatta risolve un sistema lineare con una matrice di covarianza n × n, il che richiede tempo O(n³) e memoria O(n²) per n punti dati. Approssimazioni sparse basate su punti inducenti, modelli GP locali e kernel strutturati la rendono pratica per dataset più grandi e a bordo dei robot. Un'altra avvertenza è che, a iperparametri fissati, la varianza predittiva dipende solo da dove sono stati presi i dati, non dai valori misurati, quindi un kernel adattato male dà un'incertezza fuorviante. Anche le ipotesi di rumore gaussiano si adattano male a errori dei sensori a coda pesante.

Perché è importante

La GPR fornisce previsioni con incertezza a partire da dataset piccoli. I robot usano questa incertezza per decidere dove campionare in seguito, quanto fidarsi di un modello dinamico appreso e come interpolare misure sparse in mappe continue.

Applicazioni principali

• Mappatura di campi spaziali continui come temperatura, salinità o concentrazione di gas
• Apprendimento di modelli dinamici con incertezza per il controllo basato su modello
• Ottimizzazione bayesiana dei guadagni del controllore e di altri parametri
• Apprendimento sicuro, in cui i limiti di incertezza mantengono l'esplorazione entro i vincoli
• Modellazione del terreno da dati di distanza sparsi

In pratica

Un team di monitoraggio ambientale gestisce un'imbarcazione di superficie autonoma che misura la temperatura dell'acqua in un lago. Ogni misura, etichettata con la sua posizione GPS, viene aggiunta a un modello GP, e gli iperparametri del kernel vengono ristimati periodicamente man mano che i dati si accumulano. La media a posteriori dà la mappa della temperatura e la varianza a posteriori mostra quali zone sono ancora poco conosciute. Il pianificatore manda l'imbarcazione verso punti con varianza alta, o con un'altra misura di informazione, entro il budget di batteria residuo. Man mano che il dataset cresce, il team passa a un GP sparso con punti inducenti perché ogni aggiornamento resti abbastanza rapido per la ripianificazione online.

Idee sbagliate comuni

• L'incertezza di un GP è sempre affidabile — è buona solo quanto il kernel e i suoi iperparametri; una scala di lunghezza sbagliata dà una varianza troppo sicura o troppo prudente
• La GPR non scala — l'inferenza esatta è cubica nel numero di punti, ma le approssimazioni sparse e locali gestiscono dataset grandi
• Non parametrico significa che non ci sono parametri — i GP hanno comunque iperparametri del kernel; non parametrico significa che la complessità del modello cresce con i dati invece di essere fissata in anticipo

Chi dovrebbe saperlo

• Ricercatori che lavorano su pianificazione del percorso informativa e monitoraggio ambientale
• Ingegneri che costruiscono modelli dinamici appresi
• Ingegneri del controllo che usano l'ottimizzazione bayesiana per la taratura
• Professionisti del machine learning che hanno bisogno di stime di incertezza

Tecnologie correlate

• GPyTorch
• GPflow
• scikit-learn
• Processi gaussiani variazionali sparsi (Sparse Variational Gaussian Processes)
• Ottimizzazione bayesiana (Bayesian Optimization)

Termini correlati

• Conformal Prediction
• Robotic information gathering
• Forward Dynamics Model
• System Identification
• Elevation Map

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models

Video

• Gaussian Processes: Mutual Information
• Machine Learning Lecture 26 "Gaussian Processes" -Cornell CS4780 SP17: Kilian Weinberger

Wikipedia

• Kriging