Conformal Prediction

Auch genannt: CP, conformal inference
Kategorie: Learning & autonomy › Foundation models
Schlagwörter: uncertainty-quantification, statistics, calibration, safety, llm-planning

Ein statistisches Verfahren, das die Scores eines beliebigen Modells in Vorhersagemengen umwandelt, die die wahre Antwort mit einer gewählten Wahrscheinlichkeit enthalten, kalibriert auf zurückgehaltenen Daten.

Definition

Konforme Vorhersage (Conformal Prediction) ist ein Weg, die Ausgabe eines beliebigen Vorhersagemodells mit einer statistischen Garantie zu versehen. Statt einer einzelnen Antwort gibt das Modell eine Vorhersagemenge (prediction set) zurück: jede Kandidatenantwort, die plausibel genug ist. Die Menge wird so konstruiert, dass sie über neue Beispiele hinweg die wahre Antwort mit einer Wahrscheinlichkeit von mindestens 1 − ε enthält, wobei ε eine vom Nutzer gewählte Fehlerrate ist, zum Beispiel 10 %. Das Framework wurde von Vladimir Vovk, Alex Gammerman und Glenn Shafer entwickelt und in ihrem Buch Algorithmic Learning in a Random World dargelegt.

Die verbreitetste Variante ist die Split Conformal Prediction. Ein trainiertes Modell wird auf einer zurückgehaltenen Kalibrierungsmenge (calibration set) gelabelter Beispiele ausgeführt, und für jedes wird ein Nichtkonformitätsscore berechnet, typischerweise eins minus die Konfidenz des Modells für das korrekte Label. Ein Schwellwert wird bei einem leicht angepassten (1 − ε)-Quantil dieser Scores gesetzt. Zur Testzeit kommt jeder Kandidat, dessen Score unter dem Schwellwert liegt, in die Vorhersagemenge. Die Garantie gilt unabhängig vom zugrunde liegenden Modell und braucht nur eine Annahme: dass Kalibrierungs- und Testbeispiele austauschbar (exchangeable) sind, was in der Praxis bedeutet, dass sie aus derselben Verteilung stammen.

Die Garantie ist marginal: Sie gilt im Mittel über die Testbeispiele, nicht für jedes einzelne gesondert. Die Größe der Menge trägt das nützliche Signal. Ist das Modell sicher, ist die Menge klein, oft eine einzige Antwort; ist es unsicher, wächst die Menge. In der Robotik wurde dies genutzt, um zu entscheiden, wann ein auf einem großen Sprachmodell aufbauender Planer selbstständig handeln und wann er einen Menschen um Hilfe bitten sollte, und um kalibrierte Unsicherheitsbereiche um vorhergesagte Trajektorien von Menschen und Fahrzeugen für sichere Planung zu bilden.

Warum es wichtig ist

Gelernte Modelle in Robotern, von Wahrnehmungsnetzen bis zu Sprachmodell-Planern, sind oft gerade dann zuversichtlich, wenn sie falsch liegen. Konforme Vorhersage bietet einen einfachen, modellunabhängigen Weg, ihre Scores in Mengen mit einer angegebenen Abdeckungsrate umzuwandeln, was einem System erlaubt, prinzipiengeleitet zu entscheiden, wann es handelt, wann es langsamer wird und wann es um Hilfe bittet.

Wichtige Anwendungen

Entscheidung, wann ein Sprachmodell-Planer einen Menschen um Klärung bitten sollte
Kalibrierte Unsicherheitsmengen für Objektdetektion und Klassifikation
Vorhersagebereiche um prognostizierte Trajektorien von Fußgängern und Fahrzeugen für sichere Planung
Laufzeitüberwachung, die Eingaben markiert, bei denen ein gelerntes Modell unsicher ist
Unsicherheitsschranken für gelernte Dynamikmodelle in der Regelung

In der Praxis

Ein Team, das mit einem Sprachmodell Haushaltsaufgaben plant, sammelt zuerst einige hundert Beispielszenarien mit bekannten korrekten Aktionen. Für jedes Szenario bewertet das Sprachmodell eine kurze Liste von Kandidaten für den nächsten Schritt, und das Team notiert den Score des korrekten Schritts. Es wählt eine Zielabdeckung, berechnet den Schwellwert aus diesen Kalibrierungsscores und legt ihn fest. Auf dem Roboter erzeugt jede neue Anweisung eine Menge von Kandidatenaktionen oberhalb des Schwellwerts. Bleibt nur eine übrig, führt der Roboter sie aus; bleiben mehrere übrig, etwa zwei Schüsseln, die beide zu „stell die Schüssel in die Mikrowelle“ passen, fragt der Roboter den Nutzer, welche gemeint ist. Das Team wiederholt die Kalibrierung, sobald sich die Verteilung der Szenarien ändert, da die Garantie nur für Daten gilt, die der Kalibrierungsmenge ähneln.

Häufige Missverständnisse

Konforme Vorhersage garantiert Abdeckung für jede einzelne Eingabe — die Standardgarantie ist marginal und gilt im Mittel über die Testverteilung, nicht bedingt für jeden Fall
Sie funktioniert unter allen Bedingungen — sie nimmt an, dass Kalibrierungs- und Testdaten austauschbar sind; bei einer Verteilungsverschiebung gilt die Abdeckungsgarantie ohne Anpassungen nicht mehr
Konforme Vorhersage macht das zugrunde liegende Modell genauer — sie kalibriert die Ausgabemengen; ein schlechtes Modell erzeugt weiterhin große, wenig informative Mengen
Eine Vorhersagemenge mit mehreren Antworten bedeutet, dass das Verfahren versagt hat — die Mengengröße ist das Unsicherheitssignal, und genau sie sagt dem System, dass es um Hilfe bitten oder vorsichtig handeln soll

Wer das wissen sollte

Forschende im Roboterlernen, die gelernte Modelle auf Hardware einsetzen
Ingenieure, die Planer auf Basis von Sprachmodellen und Vision-Language-Modellen bauen
Sicherheitsingenieure, die quantifizierte Unsicherheit aus der Wahrnehmung benötigen
Planungsingenieure für autonome Fahrzeuge und mobile Roboter

Videos

Emmanuel Candès - A Taste of Conformal Prediction: Institut des Hautes Etudes Scientifiques (IHES)
Rina Foygel Barber: An introduction to conformal prediction and distribution-free inference: Centre International de Rencontres Mathématiques

Open Source Robotics