Conformal Prediction

Aussi appelé: CP, conformal inference
Catégorie: Learning & autonomy › Foundation models
Mots-clés: uncertainty-quantification, statistics, calibration, safety, llm-planning

Méthode statistique qui transforme les scores de n'importe quel modèle en ensembles de prédiction contenant la vraie réponse avec une probabilité choisie, étalonnés sur des données mises de côté.

Définition

Prédiction conforme (conformal prediction) : manière d'associer une garantie statistique à la sortie de n'importe quel modèle prédictif. Au lieu de renvoyer une seule réponse, le modèle renvoie un ensemble de prédiction (prediction set) : toutes les réponses candidates suffisamment plausibles. L'ensemble est construit de sorte que, sur de nouveaux exemples, il contienne la vraie réponse avec une probabilité d'au moins 1 − ε, où ε est un taux d'erreur choisi par l'utilisateur, par exemple 10 %. Le cadre a été développé par Vladimir Vovk, Alex Gammerman et Glenn Shafer et exposé dans leur livre Algorithmic Learning in a Random World.

La version la plus courante est la prédiction conforme par partition (split conformal prediction). Un modèle entraîné est exécuté sur un ensemble d'étalonnage (calibration set) mis de côté, composé d'exemples étiquetés, et un score de non-conformité est calculé pour chacun, typiquement un moins la confiance du modèle dans l'étiquette correcte. Un seuil est pris à un quantile (1 − ε) légèrement ajusté de ces scores. Au test, chaque candidat dont le score est inférieur au seuil entre dans l'ensemble de prédiction. La garantie tient quel que soit le modèle sous-jacent et ne requiert qu'une hypothèse : que les exemples d'étalonnage et de test soient échangeables (exchangeable), ce qui signifie en pratique qu'ils proviennent de la même distribution.

La garantie est marginale : elle tient en moyenne sur les exemples de test, pas séparément pour chacun. La taille de l'ensemble porte le signal utile. Quand le modèle est confiant, l'ensemble est petit, souvent une seule réponse ; quand il est incertain, l'ensemble grandit. En robotique, on s'en est servi pour décider quand un planificateur fondé sur un grand modèle de langage doit agir seul et quand il doit demander de l'aide à un humain, et pour construire des régions d'incertitude étalonnées autour des trajectoires prédites de personnes et de véhicules en vue d'une planification sûre.

Pourquoi c'est important

Les modèles appris des robots, des réseaux de perception aux planificateurs à modèle de langage, sont souvent confiants quand ils se trompent. La prédiction conforme offre un moyen simple et indépendant du modèle de transformer leurs scores en ensembles avec un taux de couverture annoncé, ce qui permet à un système de décider de manière fondée quand agir, quand ralentir et quand demander de l'aide.

Applications principales

Décider quand un planificateur à modèle de langage doit demander une clarification à un humain
Ensembles d'incertitude étalonnés pour la détection et la classification d'objets
Régions de prédiction autour des trajectoires prévues de piétons et de véhicules pour une planification sûre
Surveillance à l'exécution qui signale les entrées sur lesquelles un modèle appris est incertain
Bornes d'incertitude sur des modèles de dynamique appris utilisés en commande

En pratique

Une équipe qui utilise un modèle de langage pour planifier des tâches ménagères recueille d'abord quelques centaines de scénarios d'exemple dont les actions correctes sont connues. Pour chaque scénario, le modèle de langage note une courte liste d'étapes suivantes candidates, et l'équipe enregistre le score de l'étape correcte. Elle choisit une couverture cible, calcule le seuil à partir de ces scores d'étalonnage et le fige. Sur le robot, chaque nouvelle instruction produit un ensemble d'actions candidates au-dessus du seuil. S'il n'en reste qu'une, le robot l'exécute ; s'il en reste plusieurs, par exemple deux bols qui correspondent tous deux à « mets le bol dans le micro-ondes », le robot demande à l'utilisateur lequel est visé. L'équipe refait l'étalonnage chaque fois que la distribution des scénarios change, car la garantie ne tient que pour des données semblables à l'ensemble d'étalonnage.

Idées reçues

La prédiction conforme garantit la couverture pour chaque entrée individuelle — la garantie standard est marginale, valable en moyenne sur la distribution de test, et non conditionnellement pour chaque cas
Elle fonctionne dans toutes les conditions — elle suppose que les données d'étalonnage et de test sont échangeables ; en cas de décalage de distribution, la garantie de couverture ne tient plus sans ajustements
La prédiction conforme rend le modèle sous-jacent plus précis — elle étalonne les ensembles de sortie ; un mauvais modèle produit toujours des ensembles grands et peu informatifs
Un ensemble de prédiction à plusieurs réponses signifie que la méthode a échoué — la taille de l'ensemble est le signal d'incertitude, et c'est elle qui indique au système de demander de l'aide ou d'agir avec prudence

Qui devrait le savoir

Chercheurs en apprentissage robotique qui déploient des modèles appris sur du matériel
Ingénieurs qui construisent des planificateurs à modèle de langage et à modèle vision-langage
Ingénieurs sécurité qui ont besoin d'une incertitude quantifiée issue de la perception
Ingénieurs en planification pour véhicules autonomes et robots mobiles

Technologies associées

Prédiction conforme par partition (Split Conformal Prediction)
Quantification de l'incertitude (Uncertainty Quantification)
Étalonnage de modèles (Model Calibration)
Ensembles profonds (Deep Ensembles)
Réseaux de neurones bayésiens (Bayesian Neural Networks)

Termes associés

Projets associés

AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Vidéos

Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques