Gaussian process regression

• 다른 이름: GPR, GP regression, kriging
• 카테고리: Sensing › Perception outputs
• 태그: machine-learning, uncertainty, bayesian-methods, mapping, regression

미지의 함수를 가우시안 프로세스로 모델링하여 모든 질의 점에서 예측 평균과 불확실성을 함께 주는 베이지안 비모수 회귀 방법.

정의

가우시안 프로세스 회귀(Gaussian process regression, GPR)는 함수에 대한 사전 분포를 둔다. 함수값의 임의의 유한 집합이 결합 가우시안 분포를 따른다고 가정하며, 평균 함수(흔히 0)와, 두 입력에서의 출력이 얼마나 강하게 상관되는지를 나타내는 커널 k(x, x')로 주어지는 공분산을 가진다. 이 사전 분포를 잡음이 있는 관측값에 조건화하면 다시 가우시안 프로세스인 사후 분포를 얻으며, 임의의 새 입력에서 닫힌 형태의 예측 평균과 분산을 가진다. 분산은 데이터 근처에서 낮고 데이터에서 멀어질수록 커지는데, 이것이 로봇이 자기 모델이 어디에서 신뢰할 수 없는지 알아야 할 때 GPR을 유용하게 만든다. 표준 참고 문헌은 Rasmussen과 Williams의 Gaussian Processes for Machine Learning(2006)이며, 지구통계학에서는 같은 방법을 크리깅(kriging)이라고 한다.

커널은 모델이 어떤 종류의 함수를 예상하는지를 결정한다. 제곱 지수(RBF) 커널은 매우 매끄러운 함수를 만들고, Matérn 계열은 더 거친 함수를 허용한다. 길이 척도, 신호 분산, 잡음 분산 같은 커널 하이퍼파라미터는 보통 데이터의 주변 우도를 최대화해 맞춘다. 표준 커널은 정상(stationary) 커널로, 모든 곳에서 같은 매끄러움을 가정한다. 지형 고도, 수온, 오염 물질 농도 같은 실제 장(field)은 어떤 곳에서는 급격히, 다른 곳에서는 천천히 변하는 경우가 많으며, 이것이 AK 논문의 Attentive Kernel 같은 비정상 커널의 동기가 된다.

주된 실용적 한계는 비용이다. 정확한 GPR은 n × n 공분산 행렬을 가진 선형 시스템을 풀며, 데이터 점 n개에 대해 O(n³) 시간과 O(n²) 메모리가 든다. 유도점(inducing point) 기반 희소 근사, 국소 GP 모델, 구조화된 커널은 더 큰 데이터셋과 로봇 탑재 환경에서 이를 실용적으로 만든다. 또 하나의 주의점은, 하이퍼파라미터가 고정되어 있으면 예측 분산이 측정값이 아니라 데이터를 얻은 위치에만 의존한다는 것이다. 따라서 잘못 맞춘 커널은 오해를 부르는 불확실성을 준다. 가우시안 잡음 가정은 또한 꼬리가 두꺼운 센서 오차에 잘 맞지 않는다.

중요한 이유

GPR은 작은 데이터셋으로부터 불확실성을 가진 예측을 제공한다. 로봇은 이 불확실성을 사용해 다음에 어디를 샘플링할지, 학습된 동역학 모델을 얼마나 신뢰할지, 희소한 측정값을 연속적인 지도로 어떻게 보간할지 결정한다.

주요 응용

• 온도, 염분, 가스 농도 같은 연속 공간 장의 지도 작성
• 모델 기반 제어를 위한, 불확실성을 가진 동역학 모델 학습
• 제어기 이득과 기타 파라미터의 베이지안 최적화
• 불확실성 경계가 탐색을 제약 안에 유지하는 안전한 학습
• 희소한 거리 데이터로부터의 지형 모델링

실제 사례

환경 모니터링 팀이 호수의 수온을 측정하는 자율 수상정을 운용한다. GPS 위치가 태그된 각 측정값은 GP 모델에 추가되고, 데이터가 쌓이면서 커널 하이퍼파라미터를 주기적으로 다시 맞춘다. 사후 평균은 수온 지도를 주고, 사후 분산은 어느 영역이 아직 잘 알려지지 않았는지 보여 준다. 계획기는 남은 배터리 예산 안에서 분산이 높은, 또는 다른 정보 척도가 높은 위치로 수상정을 보낸다. 데이터셋이 커지면 팀은 유도점을 사용하는 희소 GP로 전환하여 각 업데이트가 온라인 재계획에 충분할 만큼 빠르게 유지되도록 한다.

흔한 오해

• GP 불확실성은 항상 신뢰할 수 있다 — 불확실성은 커널과 그 하이퍼파라미터만큼만 좋다. 잘못된 길이 척도는 과신하거나 지나치게 신중한 분산을 준다
• GPR은 확장할 수 없다 — 정확한 추론은 점의 수에 대해 세제곱이지만, 희소 근사와 국소 근사로 큰 데이터셋을 다룰 수 있다
• 비모수란 파라미터가 없다는 뜻이다 — GP에도 커널 하이퍼파라미터가 있다. 비모수란 모델의 복잡도가 미리 고정되지 않고 데이터와 함께 커진다는 뜻이다

알아야 할 사람

• 정보 기반 경로 계획과 환경 모니터링을 연구하는 연구자
• 학습된 동역학 모델을 구축하는 엔지니어
• 튜닝에 베이지안 최적화를 사용하는 제어 엔지니어
• 불확실성 추정이 필요한 머신러닝 실무자

관련 기술

• GPyTorch
• GPflow
• scikit-learn
• 희소 변분 가우시안 프로세스(Sparse Variational Gaussian Processes)
• 베이지안 최적화(Bayesian Optimization)

관련 용어

• Conformal Prediction
• Robotic information gathering
• Forward Dynamics Model
• System Identification
• Elevation Map

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models

동영상

• Gaussian Processes: Mutual Information
• Machine Learning Lecture 26 "Gaussian Processes" -Cornell CS4780 SP17: Kilian Weinberger