Covariate Shift

Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: imitation-learning, distribution-shift, generalization, sim-to-real, robot-learning

Eine Diskrepanz zwischen der Eingabeverteilung, auf der ein Modell trainiert wurde, und der, auf die es im Einsatz trifft, während die Beziehung zwischen Eingabe und Ausgabe gleich bleibt; im Imitation Learning die Wurzel sich aufschaukelnder Fehler.

Definition

Kovariatenverschiebung (covariate shift) ist eine Form der Verteilungsverschiebung, bei der sich die Verteilung der Eingaben zwischen Training und Einsatz ändert, p_train(x) ≠ p_test(x), während die bedingte Beziehung p(y | x), die das Modell lernen soll, gleich bleibt. Ein an die Trainingseingaben angepasstes Modell kann dann dort genau sein, wo es trainiert wurde, und in den Bereichen unzuverlässig, die es nun häufiger sieht. Im klassischen maschinellen Lernen wird sie oft behandelt, indem Trainingsbeispiele mit dem Verhältnis der Eingabedichten von Test zu Training neu gewichtet werden, ein Ansatz, der mit Shimodaira (2000) verbunden ist.

Im Roboterlernen wird der Begriff am häufigsten für Verhaltensklonung (behavior cloning) verwendet. Eine Policy, die durch überwachtes Lernen auf Expertenzuständen trainiert wurde, sieht nur die Zustände, die der Experte besucht hat. Zur Laufzeit bringen die eigenen kleinen Fehler der Policy sie in Zustände knapp außerhalb dieser Menge, wo ihre Vorhersagen schlechter sind, was zu größeren Fehlern und zu Zuständen weiter weg von den Daten führt. Die Trainingseingaben stammen aus der Zustandsverteilung des Experten, die Testeingaben jedoch aus der des Lernenden, und die Lücke wächst entlang der Trajektorie. Ross und Bagnell analysierten diesen Effekt und zeigten, dass der erwartete Fehler der Verhaltensklonung im schlimmsten Fall quadratisch mit dem Aufgabenhorizont wächst. DAgger und verwandte interaktive Methoden begegnen dem, indem sie Expertenlabels für die Zustände sammeln, die der Lernende selbst besucht. Weitere Abhilfen sind das Einbringen von Rauschen während der Demonstrationen, damit die Daten Erholungsverhalten abdecken, Datenaugmentierung, Action Chunking und das Hinzufügen korrigierender Demonstrationen.

Dieselbe Idee taucht beim Sim-to-Real-Transfer auf, wo sich Eingaben wie Bilder oder Sensormesswerte aus der Simulation in ihrer Verteilung von denen am realen Roboter unterscheiden, und im Offline-Reinforcement-Learning, wo die gelernte Policy Zustände besucht und Aktionen wählt, die der Datensatz nicht abdeckt. Domänenrandomisierung, domäneninvariante Repräsentationen und Domänenanpassung verringern im Sim-to-Real-Fall die Diskrepanz der Eingaben. In all diesen Settings ist das praktische Symptom dasselbe: gute Validierungsgenauigkeit auf zurückgehaltenen Trainingsdaten, gefolgt von Ausfällen am realen System.

Warum es wichtig ist

Kovariatenverschiebung erklärt, warum eine Policy, die auf einem Validierungsdatensatz die Expertenaktionen fast perfekt trifft, am Roboter trotzdem innerhalb von Sekunden scheitern kann. Sie zu erkennen, bestimmt die Datensammlung, die Wahl zwischen Verhaltensklonung und interaktiven Methoden sowie die Art, wie Sim-to-Real-Pipelines entworfen und getestet werden.

Wichtige Anwendungen

Diagnose von Ausfällen bei Verhaltensklonung und visuomotorischen Policies
Entwurf interaktiver Datensammlung wie DAgger und menschliche Eingriffe
Sim-to-Real-Transfer von Wahrnehmungs- und Regelungsmodellen
Offline-Reinforcement-Learning mit festen Datensätzen
Neugewichtung von Trainingsdaten, wenn sich die Einsatzbedingungen unterscheiden

In der Praxis

Ein Team trainiert eine Fahr-Policy für einen kleinen mobilen Roboter aus teleoperierten Runden durch einen Korridor. Offline stimmt die vorhergesagte Lenkung eng mit dem Bediener überein, doch am Roboter driftet die Policy langsam auf eine Wand zu und lenkt dann wild, weil die Trainingsdaten den Roboter nie in Wandnähe enthielten. Das Team fügt gezielt Erholungsdaten hinzu, bei denen der Bediener aus außermittigen Positionen startet und zurücklenkt, und führt dann einige DAgger-Runden durch, in denen die Policy fährt, während die Lenkkorrekturen des Bedieners als Labels aufgezeichnet werden. Es verfolgt den Erfolg im geschlossenen Regelkreis pro Runde statt des Offline-Vorhersagefehlers, da nur Ersterer die Verschiebung widerspiegelt.

Häufige Missverständnisse

Kovariatenverschiebung bedeutet, dass das Modell überangepasst ist — sie kann bei einem Modell auftreten, das innerhalb der Trainingsverteilung gut generalisiert; das Problem ist, dass die Eingaben im Einsatz aus einer anderen Verteilung stammen
Mehr Expertendemonstrationen beseitigen sie — mehr Daten entlang des Expertenpfads helfen wenig, wenn die Policy weiterhin Zustände erreicht, die der Experte nie besucht hat; Erholungsdaten oder interaktives Labeln setzen direkt am Problem an
Kovariatenverschiebung und jede andere Verteilungsverschiebung sind dasselbe — Kovariatenverschiebung setzt voraus, dass die Eingabe-Ausgabe-Beziehung unverändert ist; ändert sich die richtige Aktion für eine gegebene Eingabe, ist das eine andere Art von Verschiebung

Wer das wissen sollte

Praktiker in Imitation Learning und Verhaltensklonung
Sim-to-Real- und Wahrnehmungsingenieure
Forscher im Offline-Reinforcement-Learning
ML-Ingenieure, die gelernte Modelle auf Robotern einsetzen

Open Source Robotics