Gaussian process regression

Também chamado: GPR, GP regression, kriging
Categoria: Sensing › Perception outputs
Tags: machine-learning, uncertainty, bayesian-methods, mapping, regression

Um método de regressão bayesiano e não paramétrico que modela uma função desconhecida como um processo gaussiano, dando tanto uma média prevista quanto uma incerteza em cada ponto de consulta.

Definição

Regressão por processos gaussianos (GPR) (Gaussian process regression) coloca uma distribuição a priori sobre funções: supõe-se que qualquer conjunto finito de valores da função é conjuntamente gaussiano, com uma função média, muitas vezes zero, e uma covariância dada por um kernel k(x, x') que codifica quão fortemente as saídas em duas entradas estão correlacionadas. Condicionar esse prior a observações ruidosas dá uma distribuição a posteriori que é novamente um processo gaussiano, com média e variância preditivas em forma fechada em qualquer entrada nova. A variância é baixa perto dos dados e cresce longe deles, e é isso que torna a GPR útil quando um robô precisa saber onde seu modelo não é confiável. A referência padrão é Gaussian Processes for Machine Learning (2006), de Rasmussen e Williams; em geoestatística o mesmo método é conhecido como krigagem (kriging).

O kernel determina que tipo de funções o modelo espera. O kernel exponencial quadrático (RBF) produz funções muito suaves, enquanto a família de Matérn permite funções mais irregulares. Os hiperparâmetros do kernel, como escalas de comprimento, variância do sinal e variância do ruído, geralmente são ajustados maximizando a verossimilhança marginal dos dados. Os kernels padrão são estacionários: supõem a mesma suavidade em toda parte. Campos reais, como a elevação do terreno, a temperatura da água ou a concentração de um poluente, muitas vezes mudam bruscamente em alguns lugares e lentamente em outros, o que motiva kernels não estacionários como o kernel atento (attentive kernel) do artigo AK.

O principal limite prático é o custo. A GPR exata resolve um sistema linear com uma matriz de covariância n × n, o que leva tempo O(n³) e memória O(n²) para n pontos de dados. Aproximações esparsas baseadas em pontos indutores, modelos GP locais e kernels estruturados a tornam prática para conjuntos de dados maiores e a bordo de robôs. Outra ressalva é que, com hiperparâmetros fixos, a variância preditiva depende apenas de onde os dados foram coletados, não dos valores medidos, então um kernel mal ajustado dá uma incerteza enganosa. As suposições de ruído gaussiano também se ajustam mal a erros de sensor de cauda pesada.

Por que importa

A GPR fornece previsões com incerteza a partir de conjuntos de dados pequenos. Os robôs usam essa incerteza para decidir onde amostrar em seguida, quanto confiar em um modelo dinâmico aprendido e como interpolar medições esparsas em mapas contínuos.

Principais aplicações

Mapeamento de campos espaciais contínuos como temperatura, salinidade ou concentração de gases
Aprendizado de modelos dinâmicos com incerteza para controle baseado em modelo
Otimização bayesiana de ganhos do controlador e de outros parâmetros
Aprendizado seguro, em que limites de incerteza mantêm a exploração dentro das restrições
Modelagem do terreno a partir de dados de distância esparsos

Na prática

Uma equipe de monitoramento ambiental opera uma embarcação de superfície autônoma que mede a temperatura da água em um lago. Cada medição, marcada com sua posição GPS, é adicionada a um modelo GP, e os hiperparâmetros do kernel são reajustados periodicamente à medida que os dados se acumulam. A média a posteriori dá o mapa de temperatura, e a variância a posteriori mostra quais áreas ainda são pouco conhecidas. O planejador envia a embarcação para locais com variância alta, ou outra medida de informação, dentro do orçamento de bateria restante. À medida que o conjunto de dados cresce, a equipe passa para um GP esparso com pontos indutores, para que cada atualização continue rápida o bastante para o replanejamento online.

Equívocos comuns

A incerteza de um GP é sempre confiável — ela só é tão boa quanto o kernel e seus hiperparâmetros; uma escala de comprimento errada dá uma variância confiante demais ou cautelosa demais
A GPR não escala — a inferência exata é cúbica no número de pontos, mas aproximações esparsas e locais lidam com grandes conjuntos de dados
Não paramétrico significa que não há parâmetros — os GPs ainda têm hiperparâmetros do kernel; não paramétrico significa que a complexidade do modelo cresce com os dados em vez de ser fixada de antemão

Quem deve saber

Pesquisadores que trabalham com planejamento informativo de caminhos e monitoramento ambiental
Engenheiros que constroem modelos dinâmicos aprendidos
Engenheiros de controle que usam otimização bayesiana para ajuste
Profissionais de aprendizado de máquina que precisam de estimativas de incerteza

Tecnologias relacionadas

GPyTorch
GPflow
scikit-learn
Processos gaussianos variacionais esparsos (Sparse Variational Gaussian Processes)
Otimização bayesiana (Bayesian Optimization)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models

Vídeos

Gaussian Processes: Mutual Information
Machine Learning Lecture 26 "Gaussian Processes" -Cornell CS4780 SP17: Kilian Weinberger

Wikipédia

Krigagem