Conformal Prediction

• 다른 이름: CP, conformal inference
• 카테고리: Learning & autonomy › Foundation models
• 태그: uncertainty-quantification, statistics, calibration, safety, llm-planning

어떤 모델의 점수든 선택한 확률로 참 답을 포함하는 예측 집합으로 바꾸는 통계적 방법으로, 별도로 떼어 둔 데이터로 보정한다.

정의

컨포멀 예측(conformal prediction)은 어떤 예측 모델의 출력에든 통계적 보장을 붙이는 방법이다. 모델은 단일한 답을 반환하는 대신 예측 집합(prediction set), 즉 충분히 그럴듯한 모든 후보 답을 반환한다. 이 집합은 새 예제들에 걸쳐 적어도 1 − ε의 확률로 참 답을 포함하도록 구성되며, 여기서 ε는 사용자가 고르는 오류율로 예를 들어 10%이다. 이 프레임워크는 Vladimir Vovk, Alex Gammerman, Glenn Shafer가 개발했고 그들의 책 Algorithmic Learning in a Random World에 정리되어 있다.

가장 흔한 버전은 분할 컨포멀 예측(split conformal prediction)이다. 학습된 모델을 레이블이 있는 예제로 이루어진 별도의 보정 집합(calibration set)에서 실행하고, 각 예제에 대해 비순응 점수(nonconformity score)를 계산하는데, 보통 1에서 정답 레이블에 대한 모델의 신뢰도를 뺀 값이다. 이 점수들의 약간 조정된 (1 − ε) 분위수에서 임계값을 잡는다. 테스트 시에는 점수가 임계값 아래인 모든 후보가 예측 집합에 들어간다. 이 보장은 기반 모델이 무엇이든 성립하며, 단 하나의 가정만 필요하다. 보정 예제와 테스트 예제가 교환 가능(exchangeable)하다는 것인데, 이는 실제로는 둘이 같은 분포에서 나온다는 뜻이다.

이 보장은 주변적(marginal)이다. 각 예제마다 따로가 아니라 테스트 예제 전체에 걸쳐 평균적으로 성립한다. 유용한 신호는 집합의 크기에 담긴다. 모델이 확신할 때 집합은 작고 흔히 답 하나뿐이며, 확신하지 못할 때 집합은 커진다. 로보틱스에서는 이를 대규모 언어 모델 위에 구축된 계획기가 언제 스스로 행동하고 언제 사람에게 도움을 요청해야 하는지 결정하는 데, 그리고 안전한 계획을 위해 사람과 차량의 예측 궤적 주위에 보정된 불확실성 영역을 만드는 데 사용해 왔다.

중요한 이유

인식 네트워크부터 언어 모델 계획기까지, 로봇의 학습된 모델은 틀렸을 때도 확신하는 경우가 많다. 컨포멀 예측은 그 점수를 명시된 포함률을 가진 집합으로 바꾸는 단순하고 모델에 구애받지 않는 방법을 제공하며, 이를 통해 시스템이 언제 행동하고, 언제 속도를 줄이고, 언제 도움을 요청할지를 원칙적으로 결정할 수 있다.

주요 응용

• 언어 모델 계획기가 언제 사람에게 명확화를 요청해야 하는지 결정
• 물체 검출과 분류를 위한 보정된 불확실성 집합
• 안전한 계획을 위한 보행자와 차량의 예측 궤적 주위 예측 영역
• 학습된 모델이 확신하지 못하는 입력을 표시하는 실행 시간 모니터링
• 제어에 사용되는 학습된 동역학 모델의 불확실성 경계

실제 사례

언어 모델로 가사 작업을 계획하는 팀은 먼저 올바른 행동이 알려진 예제 시나리오를 수백 개 모은다. 각 시나리오에서 언어 모델이 다음 단계 후보의 짧은 목록에 점수를 매기면, 팀은 올바른 단계의 점수를 기록한다. 목표 포함률을 고르고, 이 보정 점수들로부터 임계값을 계산해 고정한다. 로봇 위에서는 새 지시마다 임계값을 넘는 후보 행동 집합이 생긴다. 하나만 남으면 로봇은 그것을 실행하고, 여러 개가 남으면, 예를 들어 "그릇을 전자레인지에 넣어"에 둘 다 맞는 그릇이 두 개 있으면, 로봇은 사용자에게 어느 것을 뜻하는지 묻는다. 보장은 보정 집합과 같은 데이터에 대해서만 성립하므로, 팀은 시나리오 분포가 바뀔 때마다 보정을 다시 실행한다.

흔한 오해

• 컨포멀 예측은 모든 개별 입력에 대해 포함을 보장한다 — 표준 보장은 주변적이며, 각 경우에 대해 조건부로가 아니라 테스트 분포에 걸쳐 평균적으로 성립한다
• 어떤 조건에서든 작동한다 — 보정 데이터와 테스트 데이터가 교환 가능하다고 가정하며, 분포 이동이 있으면 조정 없이는 포함 보장이 더 이상 성립하지 않는다
• 컨포멀 예측은 기반 모델을 더 정확하게 만든다 — 출력 집합을 보정할 뿐이며, 나쁜 모델은 여전히 크고 정보가 없는 집합을 만든다
• 답이 여러 개인 예측 집합은 방법이 실패했다는 뜻이다 — 집합 크기가 불확실성 신호이며, 시스템에 도움을 요청하거나 신중하게 행동하라고 알려 주는 것이 바로 이것이다

알아야 할 사람

• 학습된 모델을 하드웨어에 배치하는 로봇 학습 연구자
• 언어 모델 및 비전 언어 모델 계획기를 구축하는 엔지니어
• 인식으로부터 정량화된 불확실성이 필요한 안전 엔지니어
• 자율주행차 및 이동 로봇 계획 엔지니어

관련 기술

• 분할 컨포멀 예측(Split Conformal Prediction)
• 불확실성 정량화(Uncertainty Quantification)
• 모델 보정(Model Calibration)
• 딥 앙상블(Deep Ensembles)
• 베이즈 신경망(Bayesian Neural Networks)

관련 용어

• Foundation Model
• Task Planning
• VLM
• Embodied AI
• VLA

관련 프로젝트

• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
• image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

동영상

• Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
• Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques