Conformal Prediction

• 又称: CP, conformal inference
• 类别: Learning & autonomy › Foundation models
• 标签: uncertainty-quantification, statistics, calibration, safety, llm-planning

一种统计方法，它借助留出数据进行校准，把任何模型的分数转换为以选定概率包含真实答案的预测集。

定义

共形预测（Conformal prediction）是一种为任何预测模型的输出附加统计保证的方法。模型不再返回单一答案，而是返回一个预测集：其中包含每一个足够可信的候选答案。该集合的构造方式保证，在新样本上，它以至少 1 − ε 的概率包含真实答案，其中 ε 是用户选定的错误率，例如 10%。该框架由 Vladimir Vovk、Alex Gammerman 和 Glenn Shafer 提出，并在他们的著作 Algorithmic Learning in a Random World 中加以阐述。

最常见的版本是分割共形预测（split conformal prediction）。在一个留出的、带标签样本组成的校准集上运行训练好的模型，并为每个样本计算一个不一致性分数，通常是 1 减去模型对正确标签的置信度。在这些分数的一个经过轻微调整的 (1 − ε) 分位数处取阈值。测试时，分数低于该阈值的每个候选答案都进入预测集。无论底层模型是什么，这一保证都成立，而且它只需要一个假设：校准样本和测试样本是可交换的，这在实践中意味着它们来自同一分布。

这一保证是边际的：它在测试样本上平均成立，而不是对每个样本单独成立。集合的大小承载着有用的信号。当模型有把握时，集合很小，通常只有一个答案；当模型不确定时，集合会变大。在机器人领域，这已被用于决定基于大语言模型的规划器何时应自主行动、何时应向人类求助，以及为人和车辆的预测轨迹构建经过校准的不确定性区域，以便安全地进行规划。

为何重要

机器人中学习得到的模型，从感知网络到语言模型规划器，常常在出错时依然信心十足。共形预测提供了一种简单、与模型无关的方法，把它们的分数转换为具有明确覆盖率的集合，从而让系统能够有原则地决定何时行动、何时放慢以及何时求助。

主要应用

• 决定语言模型规划器何时应向人类请求澄清
• 用于目标检测和分类的经过校准的不确定性集合
• 为安全规划围绕行人和车辆的预测轨迹构建预测区域
• 标记出学习模型不确定的输入的运行时监控
• 控制中使用的学习动力学模型的不确定性界

实际应用

一个使用语言模型规划家务任务的团队，先收集几百个已知正确动作的示例场景。对每个场景，语言模型为一个简短的候选下一步列表打分，团队记录正确步骤的分数。他们选定一个目标覆盖率，根据这些校准分数计算阈值，并把它固定下来。在机器人上，每条新指令都会产生一组高于阈值的候选动作。如果只剩一个，机器人就执行它；如果剩下好几个，例如有两个碗都符合“put the bowl in the microwave”（把碗放进微波炉），机器人就会询问用户指的是哪一个。每当场景分布发生变化，团队都会重新运行校准，因为这一保证只对与校准集相似的数据成立。

常见误解

• 共形预测为每一个单独的输入保证覆盖 — 标准保证是边际的，在测试分布上平均成立，而不是对每种情况条件成立
• 它在任何条件下都有效 — 它假设校准数据和测试数据是可交换的；在分布偏移下，如果不加调整，覆盖保证就不再成立
• 共形预测能让底层模型更准确 — 它校准的是输出集合；差的模型仍会产生大而无信息的集合
• 包含多个答案的预测集意味着方法失败了 — 集合大小就是不确定性信号，正是它告诉系统要去求助或谨慎行事

谁需要了解

• 在硬件上部署学习模型的机器人学习研究人员
• 构建语言模型和视觉语言规划器的工程师
• 需要从感知中获得量化不确定性的安全工程师
• 自动驾驶汽车和移动机器人规划工程师

相关技术

• 分割共形预测（Split Conformal Prediction）
• 不确定性量化（Uncertainty Quantification）
• 模型校准（Model Calibration）
• 深度集成（Deep Ensembles）
• 贝叶斯神经网络（Bayesian Neural Networks）

相关术语

• Foundation Model
• Task Planning
• VLM
• Embodied AI
• VLA

相关项目

• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
• image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

视频

• Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
• Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques