Conformal Prediction
- 別名: CP, conformal inference
- カテゴリ: Learning & autonomy › Foundation models
- タグ: uncertainty-quantification, statistics, calibration, safety, llm-planning
取り置いたデータで較正し、どのようなモデルのスコアも、選んだ確率で真の答えを含む予測集合に変換する統計的手法。
定義
コンフォーマル予測（Conformal prediction）は、どのような予測モデルの出力にも統計的な保証を付ける方法である。モデルは単一の答えを返す代わりに、十分にもっともらしいすべての候補の答えからなる予測集合を返す。この集合は、新しい事例に対して、少なくとも 1 − ε の確率で真の答えを含むように構成される。ここで ε はユーザーが選ぶ誤り率で、たとえば 10% である。この枠組みは Vladimir Vovk、Alex Gammerman、Glenn Shafer によって開発され、彼らの著書 Algorithmic Learning in a Random World で体系的に示された。
最も一般的な版は分割コンフォーマル予測（split conformal prediction）である。学習済みモデルを、取り置いておいたラベル付き事例からなる較正集合で実行し、各事例について非適合度スコアを計算する。典型的には、1 から正しいラベルに対するモデルの確信度を引いたものである。これらのスコアのわずかに調整した (1 − ε) 分位点をしきい値とする。テスト時には、スコアがしきい値を下回るすべての候補が予測集合に入る。この保証は基礎となるモデルが何であっても成り立ち、必要な仮定は 1 つだけである。すなわち、較正事例とテスト事例が交換可能であることで、実際には同じ分布から来ていることを意味する。
この保証は周辺的であり、テスト事例全体の平均で成り立つもので、各事例について個別に成り立つわけではない。有用な信号は集合の大きさにある。モデルに確信があるときは集合が小さく、多くの場合 1 つの答えだけになり、確信がないときは集合が大きくなる。ロボティクスでは、大規模言語モデルに基づくプランナーがいつ自律的に行動し、いつ人間に助けを求めるべきかを決めるのに使われてきたほか、安全な計画のために人や車両の予測軌道の周りに較正された不確かさの領域を構築するのにも使われてきた。
重要な理由
知覚ネットワークから言語モデルのプランナーまで、ロボットの学習済みモデルは間違っているときでも確信をもっていることが多い。コンフォーマル予測は、そのスコアを明示されたカバレッジ率をもつ集合に変換する、単純でモデルに依存しない方法を与える。これにより、システムはいつ行動し、いつ減速し、いつ助けを求めるかを原理的に決められる。
主な用途
- 言語モデルのプランナーがいつ人間に確認を求めるべきかの判断
- 物体検出と分類のための較正された不確かさの集合
- 安全な計画のための、歩行者や車両の予測軌道の周りの予測領域
- 学習済みモデルが確信をもてない入力を検知する実行時モニタリング
- 制御に使う学習済み動力学モデルの不確かさの上下界
実際の使われ方
言語モデルを使って家事タスクを計画するチームは、まず正しい行動がわかっている例題シナリオを数百個集める。各シナリオについて、言語モデルが次のステップの短い候補リストにスコアを付け、チームは正しいステップのスコアを記録する。目標とするカバレッジを選び、これらの較正スコアからしきい値を計算して固定する。ロボット上では、新しい指示のたびに、しきい値を上回る候補行動の集合が得られる。1 つだけ残ればロボットはそれを実行し、たとえば「put the bowl in the microwave」（ボウルを電子レンジに入れて）に当てはまるボウルが 2 つあるなど、複数残った場合は、どちらのことかをユーザーに尋ねる。保証は較正集合に似たデータにしか成り立たないので、チームはシナリオの分布が変わるたびに較正をやり直す。
よくある誤解
- コンフォーマル予測は個々の入力すべてについてカバレッジを保証する — 標準的な保証は周辺的なもので、テスト分布全体の平均で成り立ち、各ケースについて条件付きで成り立つわけではない
- どのような条件でも機能する — 較正データとテストデータが交換可能であることを仮定しており、分布シフトのもとでは、調整しない限りカバレッジの保証はもはや成り立たない
- コンフォーマル予測は基礎となるモデルの精度を上げる — 較正するのは出力の集合であり、質の低いモデルはやはり大きく情報の乏しい集合を生む
- 複数の答えを含む予測集合は手法の失敗を意味する — 集合の大きさこそが不確かさの信号であり、システムに助けを求めるか慎重に行動するよう伝えるものである
知っておくべき人
- 学習済みモデルを実機に展開するロボット学習の研究者
- 言語モデルや視覚言語モデルのプランナーを構築するエンジニア
- 知覚から定量化された不確かさを必要とする安全エンジニア
- 自動運転車と移動ロボットの計画エンジニア
関連技術
- 分割コンフォーマル予測（Split Conformal Prediction）
- 不確かさの定量化（Uncertainty Quantification）
- モデル較正（Model Calibration）
- ディープアンサンブル（Deep Ensembles）
- ベイズニューラルネットワーク（Bayesian Neural Networks）
関連用語
関連プロジェクト
- AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
- image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
- NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems
動画
- Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
- Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques