Conformal Prediction

• Detto anche: CP, conformal inference
• Categoria: Learning & autonomy › Foundation models
• Tag: uncertainty-quantification, statistics, calibration, safety, llm-planning

Un metodo statistico che trasforma i punteggi di qualsiasi modello in insiemi di predizione che contengono la risposta vera con una probabilità scelta, calibrato su dati tenuti da parte.

Definizione

Predizione conforme (conformal prediction) è un modo per associare una garanzia statistica all'uscita di qualsiasi modello predittivo. Invece di restituire un'unica risposta, il modello restituisce un insieme di predizione: tutte le risposte candidate sufficientemente plausibili. L'insieme è costruito in modo che, su esempi nuovi, contenga la risposta vera con probabilità almeno 1 − ε, dove ε è un tasso di errore scelto dall'utente, per esempio il 10 %. Il framework è stato sviluppato da Vladimir Vovk, Alex Gammerman e Glenn Shafer ed esposto nel loro libro Algorithmic Learning in a Random World.

La versione più comune è la predizione conforme split (split conformal prediction). Un modello addestrato viene eseguito su un insieme di calibrazione tenuto da parte, composto da esempi etichettati, e per ciascuno si calcola un punteggio di non conformità, tipicamente uno meno la confidenza del modello nell'etichetta corretta. Si prende una soglia a un quantile (1 − ε) leggermente corretto di questi punteggi. In fase di test, ogni candidato il cui punteggio scende sotto la soglia entra nell'insieme di predizione. La garanzia vale qualunque sia il modello sottostante, e richiede una sola ipotesi: che gli esempi di calibrazione e di test siano scambiabili, il che in pratica significa che provengono dalla stessa distribuzione.

La garanzia è marginale: vale in media sugli esempi di test, non separatamente per ciascuno. La dimensione dell'insieme porta il segnale utile. Quando il modello è sicuro, l'insieme è piccolo, spesso un'unica risposta; quando è incerto, l'insieme cresce. In robotica è stata usata per decidere quando un pianificatore basato su un grande modello linguistico deve agire da solo e quando deve chiedere aiuto a una persona, e per costruire regioni di incertezza calibrate attorno alle traiettorie predette di persone e veicoli per una pianificazione sicura.

Perché è importante

I modelli appresi nei robot, dalle reti di percezione ai pianificatori basati su modelli linguistici, sono spesso sicuri di sé quando sbagliano. La predizione conforme offre un modo semplice e indipendente dal modello per trasformare i loro punteggi in insiemi con un tasso di copertura dichiarato, il che permette a un sistema di decidere in modo fondato quando agire, quando rallentare e quando chiedere aiuto.

Applicazioni principali

• Decidere quando un pianificatore basato su modello linguistico deve chiedere chiarimenti a una persona
• Insiemi di incertezza calibrati per il rilevamento e la classificazione di oggetti
• Regioni di predizione attorno alle traiettorie previste di pedoni e veicoli per una pianificazione sicura
• Monitoraggio in esecuzione che segnala gli ingressi su cui un modello appreso è incerto
• Limiti di incertezza sui modelli dinamici appresi usati nel controllo

In pratica

Un team che usa un modello linguistico per pianificare faccende domestiche raccoglie prima qualche centinaio di scenari di esempio con azioni corrette note. Per ogni scenario, il modello linguistico assegna un punteggio a una breve lista di possibili passi successivi, e il team registra il punteggio del passo corretto. Sceglie una copertura obiettivo, calcola la soglia da questi punteggi di calibrazione e la fissa. Sul robot, ogni nuova istruzione produce un insieme di azioni candidate sopra la soglia. Se ne resta una sola, il robot la esegue; se ne restano diverse, per esempio due ciotole che corrispondono entrambe a «metti la ciotola nel microonde», il robot chiede all'utente quale si intenda. Il team ripete la calibrazione ogni volta che cambia la distribuzione degli scenari, perché la garanzia vale solo per dati simili a quelli dell'insieme di calibrazione.

Idee sbagliate comuni

• La predizione conforme garantisce la copertura per ogni singolo ingresso — la garanzia standard è marginale, vale in media sulla distribuzione di test e non condizionatamente per ciascun caso
• Funziona in qualsiasi condizione — presuppone che i dati di calibrazione e di test siano scambiabili; in presenza di distribution shift la garanzia di copertura non vale più senza correzioni
• La predizione conforme rende più accurato il modello sottostante — calibra gli insiemi in uscita; un modello scadente produce comunque insiemi grandi e poco informativi
• Un insieme di predizione con più risposte significa che il metodo ha fallito — la dimensione dell'insieme è il segnale di incertezza, ed è ciò che dice al sistema di chiedere aiuto o di agire con cautela

Chi dovrebbe saperlo

• Ricercatori di robot learning che mettono in servizio modelli appresi su hardware reale
• Ingegneri che costruiscono pianificatori basati su modelli linguistici e visione-linguaggio
• Ingegneri della sicurezza che hanno bisogno di un'incertezza quantificata dalla percezione
• Ingegneri di pianificazione per veicoli autonomi e robot mobili

Tecnologie correlate

• Predizione conforme split (Split Conformal Prediction)
• Quantificazione dell'incertezza (Uncertainty Quantification)
• Calibrazione del modello (Model Calibration)
• Deep Ensembles
• Reti neurali bayesiane (Bayesian Neural Networks)

Termini correlati

• Foundation Model
• Task Planning
• VLM
• Embodied AI
• VLA

Progetti correlati

• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
• image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
• NASA Ogma: NASA runtime monitor generator for safe robotics and flight systems

Video

• Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
• Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques