Conformal Prediction

También llamado: CP, conformal inference
Categoría: Learning & autonomy › Foundation models
Etiquetas: uncertainty-quantification, statistics, calibration, safety, llm-planning

Un método estadístico que convierte las puntuaciones de cualquier modelo en conjuntos de predicción que contienen la respuesta verdadera con una probabilidad elegida, calibrado con datos reservados.

Definición

Predicción conformal (conformal prediction) es una forma de asociar una garantía estadística a la salida de cualquier modelo predictivo. En lugar de devolver una única respuesta, el modelo devuelve un conjunto de predicción: todas las respuestas candidatas que son lo bastante plausibles. El conjunto se construye de modo que, sobre ejemplos nuevos, contenga la respuesta verdadera con una probabilidad de al menos 1 − ε, donde ε es una tasa de error que elige el usuario, por ejemplo el 10 %. El marco lo desarrollaron Vladimir Vovk, Alex Gammerman y Glenn Shafer, y lo expusieron en su libro Algorithmic Learning in a Random World.

La versión más común es la predicción conformal dividida (split conformal prediction). Un modelo entrenado se ejecuta sobre un conjunto de calibración reservado de ejemplos etiquetados, y para cada uno se calcula una puntuación de no conformidad, normalmente uno menos la confianza del modelo en la etiqueta correcta. Se toma un umbral en un cuantil (1 − ε) ligeramente ajustado de estas puntuaciones. En el momento de la prueba, cada candidato cuya puntuación queda por debajo del umbral entra en el conjunto de predicción. La garantía se cumple sea cual sea el modelo subyacente, y solo necesita un supuesto: que los ejemplos de calibración y de prueba sean intercambiables, lo que en la práctica significa que proceden de la misma distribución.

La garantía es marginal: se cumple en promedio sobre los ejemplos de prueba, no por separado para cada uno. El tamaño del conjunto lleva la señal útil. Cuando el modelo tiene confianza, el conjunto es pequeño, a menudo una sola respuesta; cuando duda, el conjunto crece. En robótica se ha usado para decidir cuándo un planificador construido sobre un gran modelo de lenguaje debe actuar por su cuenta y cuándo debe pedir ayuda a una persona, y para construir regiones de incertidumbre calibradas alrededor de las trayectorias predichas de personas y vehículos para una planificación segura.

Por qué importa

Los modelos aprendidos en los robots, desde las redes de percepción hasta los planificadores basados en modelos de lenguaje, a menudo tienen confianza cuando se equivocan. La predicción conformal ofrece una forma sencilla e independiente del modelo de convertir sus puntuaciones en conjuntos con una tasa de cobertura declarada, lo que permite a un sistema decidir de forma fundamentada cuándo actuar, cuándo ir más despacio y cuándo pedir ayuda.

Aplicaciones clave

Decidir cuándo un planificador basado en un modelo de lenguaje debe pedir aclaraciones a una persona
Conjuntos de incertidumbre calibrados para la detección y la clasificación de objetos
Regiones de predicción alrededor de las trayectorias pronosticadas de peatones y vehículos para una planificación segura
Monitorización en tiempo de ejecución que señala las entradas sobre las que un modelo aprendido no está seguro
Cotas de incertidumbre para modelos de dinámica aprendidos que se usan en control

En la práctica

Un equipo que usa un modelo de lenguaje para planificar tareas domésticas recoge primero unos cientos de escenarios de ejemplo con acciones correctas conocidas. Para cada escenario, el modelo de lenguaje puntúa una lista corta de posibles pasos siguientes, y el equipo registra la puntuación del paso correcto. Eligen una cobertura objetivo, calculan el umbral a partir de estas puntuaciones de calibración y lo fijan. En el robot, cada nueva instrucción produce un conjunto de acciones candidatas por encima del umbral. Si solo queda una, el robot la ejecuta; si quedan varias, por ejemplo dos cuencos que encajan ambos con «pon el cuenco en el microondas», el robot pregunta al usuario a cuál se refiere. El equipo repite la calibración cada vez que cambia la distribución de escenarios, ya que la garantía solo se cumple para datos como los del conjunto de calibración.

Ideas erróneas comunes

La predicción conformal garantiza la cobertura para cada entrada individual — la garantía estándar es marginal, se cumple en promedio sobre la distribución de prueba, no de forma condicional para cada caso
Funciona en cualquier condición — supone que los datos de calibración y de prueba son intercambiables; ante un cambio de distribución la garantía de cobertura deja de cumplirse sin ajustes
La predicción conformal hace más preciso el modelo subyacente — calibra los conjuntos de salida; un modelo deficiente sigue produciendo conjuntos grandes y poco informativos
Un conjunto de predicción con varias respuestas significa que el método ha fallado — el tamaño del conjunto es la señal de incertidumbre, y es lo que indica al sistema que pida ayuda o actúe con cautela

Quién debería saberlo

Investigadores en aprendizaje robótico que despliegan modelos aprendidos en hardware
Ingenieros que construyen planificadores basados en modelos de lenguaje y de visión-lenguaje
Ingenieros de seguridad que necesitan una incertidumbre cuantificada de la percepción
Ingenieros de planificación de vehículos autónomos y robots móviles

Tecnologías relacionadas

Predicción conformal dividida (Split Conformal Prediction)
Cuantificación de la incertidumbre (Uncertainty Quantification)
Calibración de modelos (Model Calibration)
Conjuntos profundos (Deep Ensembles)
Redes neuronales bayesianas (Bayesian Neural Networks)

Términos relacionados

Proyectos relacionados

AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Vídeos

Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques