Gaussian process regression

También llamado: GPR, GP regression, kriging
Categoría: Sensing › Perception outputs
Etiquetas: machine-learning, uncertainty, bayesian-methods, mapping, regression

Un método de regresión bayesiano y no paramétrico que modela una función desconocida como un proceso gaussiano y da tanto una media predicha como una incertidumbre en cada punto de consulta.

Definición

Regresión por procesos gaussianos (GPR) (Gaussian process regression) establece una distribución a priori sobre funciones: se supone que cualquier conjunto finito de valores de la función es conjuntamente gaussiano, con una función media, a menudo cero, y una covarianza dada por un kernel k(x, x') que codifica con qué fuerza están correlacionadas las salidas en dos entradas. Condicionar este prior a observaciones ruidosas da una distribución a posteriori que es de nuevo un proceso gaussiano, con una media y una varianza predictivas en forma cerrada en cualquier entrada nueva. La varianza es baja cerca de los datos y crece lejos de ellos, y eso es lo que hace útil la GPR cuando un robot necesita saber dónde su modelo no es fiable. La referencia estándar es Gaussian Processes for Machine Learning (2006) de Rasmussen y Williams; en geoestadística el mismo método se conoce como kriging.

El kernel determina qué tipo de funciones espera el modelo. El kernel exponencial cuadrático (RBF) produce funciones muy suaves, mientras que la familia de Matérn permite otras más irregulares. Los hiperparámetros del kernel, como las escalas de longitud, la varianza de la señal y la varianza del ruido, suelen ajustarse maximizando la verosimilitud marginal de los datos. Los kernels estándar son estacionarios: suponen la misma suavidad en todas partes. Los campos reales, como la elevación del terreno, la temperatura del agua o la concentración de un contaminante, a menudo cambian bruscamente en algunos lugares y lentamente en otros, lo que motiva kernels no estacionarios como el kernel atento (attentive kernel) del artículo AK.

El principal límite práctico es el coste. La GPR exacta resuelve un sistema lineal con una matriz de covarianza de n × n, lo que requiere un tiempo O(n³) y una memoria O(n²) para n puntos de datos. Las aproximaciones dispersas basadas en puntos inductores, los modelos GP locales y los kernels estructurados la hacen práctica para conjuntos de datos más grandes y a bordo de robots. Otra salvedad es que, con hiperparámetros fijos, la varianza predictiva depende solo de dónde se tomaron los datos, no de los valores medidos, por lo que un kernel mal ajustado da una incertidumbre engañosa. Los supuestos de ruido gaussiano también se ajustan mal a los errores de sensor de cola pesada.

Por qué importa

La GPR ofrece predicciones con incertidumbre a partir de conjuntos de datos pequeños. Los robots usan esa incertidumbre para decidir dónde muestrear a continuación, hasta qué punto confiar en un modelo dinámico aprendido y cómo interpolar mediciones dispersas en mapas continuos.

Aplicaciones clave

Cartografía de campos espaciales continuos como la temperatura, la salinidad o la concentración de gases
Aprendizaje de modelos dinámicos con incertidumbre para el control basado en modelo
Optimización bayesiana de ganancias del controlador y otros parámetros
Aprendizaje seguro, donde las cotas de incertidumbre mantienen la exploración dentro de las restricciones
Modelado del terreno a partir de datos de distancia dispersos

En la práctica

Un equipo de monitorización ambiental opera una embarcación de superficie autónoma que mide la temperatura del agua en un lago. Cada medición, etiquetada con su posición GPS, se añade a un modelo GP, y los hiperparámetros del kernel se reajustan periódicamente a medida que se acumulan los datos. La media a posteriori da el mapa de temperatura y la varianza a posteriori muestra qué zonas siguen siendo poco conocidas. El planificador envía la embarcación hacia lugares con varianza alta, u otra medida de información, dentro del presupuesto de batería restante. A medida que crece el conjunto de datos, el equipo pasa a un GP disperso con puntos inductores para que cada actualización siga siendo lo bastante rápida para la replanificación en línea.

Ideas erróneas comunes

La incertidumbre de un GP siempre es fiable — solo es tan buena como el kernel y sus hiperparámetros; una escala de longitud equivocada da una varianza demasiado confiada o demasiado cautelosa
La GPR no escala — la inferencia exacta es cúbica en el número de puntos, pero las aproximaciones dispersas y locales manejan grandes conjuntos de datos
No paramétrico significa que no hay parámetros — los GP siguen teniendo hiperparámetros del kernel; no paramétrico significa que la complejidad del modelo crece con los datos en lugar de estar fijada de antemano

Quién debería saberlo

Investigadores que trabajan en planificación informativa de trayectorias y monitorización ambiental
Ingenieros que construyen modelos dinámicos aprendidos
Ingenieros de control que usan la optimización bayesiana para el ajuste
Profesionales del aprendizaje automático que necesitan estimaciones de incertidumbre

Tecnologías relacionadas

GPyTorch
GPflow
scikit-learn
Procesos gaussianos variacionales dispersos (Sparse Variational Gaussian Processes)
Optimización bayesiana (Bayesian Optimization)

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models

Vídeos

Gaussian Processes: Mutual Information
Machine Learning Lecture 26 "Gaussian Processes" -Cornell CS4780 SP17: Kilian Weinberger

Wikipedia

Krigeaje