Preference-Based Learning
- Auch genannt: preference learning, PbRL, learning from comparisons
- Kategorie: Learning & autonomy › Learning from demonstration
- Schlagwörter: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
Lernen einer Belohnungsfunktion oder Policy aus menschlichen Vergleichen, etwa welches von zwei Roboterverhalten besser ist, statt aus Demonstrationen oder numerischen Bewertungen.
Definition
Präferenzbasiertes Lernen (Preference-based learning) passt aus den Vergleichen einer Person zwischen Alternativen ein Modell dessen an, was sie will. Eine typische Anfrage zeigt zwei Robotertrajektorien und fragt, welche besser ist; andere Formen bitten die Person, mehrere Optionen in eine Rangfolge zu bringen oder aus einer Menge die beste auszuwählen. Diese Antworten werden genutzt, um eine Belohnungsfunktion zu lernen, die dann ein Planer oder ein Algorithmus des bestärkenden Lernens optimiert, oder bei manchen Methoden, um die Policy direkt zu aktualisieren. Vergleiche fallen Menschen oft leichter konsistent zu geben als absolute Bewertungen, und sie lassen sich auch für Verhaltensweisen abgeben, die die Person selbst nicht vormachen könnte, etwa schnelle oder dynamische Roboterbewegungen.
Die übliche Verbindung zwischen Belohnungen und Entscheidungen ist das Bradley-Terry-Modell (Bradley-Terry model): Die Wahrscheinlichkeit, dass eine Person Option A gegenüber Option B bevorzugt, ist eine logistische Funktion der Differenz ihrer Belohnungen, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))). Das Plackett-Luce-Modell erweitert dies auf vollständige Rangfolgen. Ein Rationalitäts- oder Temperaturparameter legt fest, wie verrauscht die Person angenommen wird. Die Belohnung kann eine gewichtete Summe von Hand entworfener Merkmale einer Trajektorie sein, ein Gauß-Prozess oder ein neuronales Netz, das auf den Vergleichen trainiert wird. Weil jede Antwort höchstens ein Bit an Information trägt, wählen viele Methoden Anfragen aktiv aus und nehmen das Paar, dessen Antwort die Unsicherheit über die Belohnung am stärksten verringern würde, wie in der Arbeit von Sadigh et al. (2017) zum aktiven präferenzbasierten Belohnungslernen.
Im tiefen bestärkenden Lernen zeigten Christiano et al. (2017), dass ein neuronales Belohnungsmodell, das auf menschlichen Vergleichen kurzer Clips trainiert wurde, Agenten komplexe Verhaltensweisen beibringen kann, und derselbe Ansatz liegt dem bestärkenden Lernen aus menschlichem Feedback (RLHF) für Sprachmodelle zugrunde. In der Robotik wird es genutzt, um Verhalten an einzelne Nutzer anzupassen, etwa Bewegungsstil, Fahrstil, Timing von Übergaben oder Gangart-Parameter von Exoskeletten. Praktische Probleme sind inkonsistente oder sich ändernde Präferenzen, die begrenzte Information pro Anfrage und die Wahl von Merkmalen oder Repräsentationen, in denen sich die Präferenzen der Person ausdrücken lassen; manche Arbeiten lernen diese Repräsentationen aus natürlichen Nutzerinteraktionen, statt sie von Hand zu entwerfen.
Warum es wichtig ist
Viele Roboterverhalten hängen davon ab, was eine bestimmte Person als angenehm, lesbar oder erfreulich empfindet, und diese Eigenschaften lassen sich schwer als Belohnung aufschreiben oder in einer Demonstration zeigen. Präferenzbasiertes Lernen bietet einen praktischen Weg, sie über einfache Fragen zu erfassen, und dieselben Methoden sind heute zentral, um große gelernte Modelle am menschlichen Urteil auszurichten.
Wichtige Anwendungen
- Anpassen von Bewegungsstil, Geschwindigkeit und Proxemik von Robotern an einzelne Nutzer
- Lernen von Belohnungsfunktionen für bestärkendes Lernen, wenn Belohnungen schwer festzulegen sind
- Abstimmen von Regelparametern für Exoskelette und Prothesen anhand von Nutzerfeedback
- Lernen von Fahrstilpräferenzen für autonome Fahrzeuge
- Bestärkendes Lernen aus menschlichem Feedback für Sprach- und Vision-Language-Action-Modelle
In der Praxis
Ein Team möchte, dass sich ein Haushaltsroboter so nähert und Gegenstände übergibt, wie es jeder Nutzer als angenehm empfindet. Es beschreibt jede mögliche Annäherung durch Merkmale wie Geschwindigkeit, eingehaltenen Abstand, Annäherungswinkel und wie früh der Arm ausgestreckt wird. In einer kurzen Sitzung führt der Roboter zwei Varianten vor, und der Nutzer sagt, welche er bevorzugt. Nach jeder Antwort wird eine bayessche Schätzung der Belohnungsgewichte des Nutzers unter einem Bradley-Terry-Modell aktualisiert, und das nächste Paar wird so gewählt, dass es am informativsten ist. Sobald sich die Schätzung zwischen den Antworten kaum noch ändert, nutzt der Planer des Roboters die gelernte Belohnung, um neue Annäherungen zu erzeugen. Das Team prüft die Konsistenz, indem es einige frühere Anfragen wiederholt, und stoppt die Anpassung, wenn die Antworten widersprüchlich werden.
Häufige Missverständnisse
- Präferenzen liefern ein absolutes Qualitätsmaß — sie zeigen nur, welche Option besser ist, daher ist die gelernte Belohnung nur bis auf einen Offset bestimmt, und ihre Skala hängt vom angenommenen Rauschniveau ab
- Zufällige Vergleichsanfragen sind genauso gut — jede Antwort trägt wenig Information, und aktiv gewählte Anfragen brauchen meist weit weniger Vergleiche
- Präferenzbasiertes Lernen ist dasselbe wie RLHF — RLHF ist eine Anwendung davon auf große Modelle; die Idee ist älter und wird in der Robotik breit eingesetzt
- Menschliche Präferenzen sind konsistent und fest — Menschen treffen verrauschte, manchmal intransitive Entscheidungen, die sich mit der Erfahrung ändern können, daher müssen Modelle Rauschen und Drift zulassen
Wer das wissen sollte
- Forschende im Roboterlernen, die mit menschlichem Feedback arbeiten
- Forschende der Mensch-Roboter-Interaktion, die personalisierte Verhaltensweisen gestalten
- Ingenieure für bestärkendes Lernen, die Mühe haben, Belohnungen festzulegen
- Ingenieure für Assistenz- und tragbare Robotik, die Geräte auf Nutzer abstimmen
Verwandte Technologien
- Bradley-Terry-Modell (Bradley-Terry Model)
- Bestärkendes Lernen aus menschlichem Feedback (Reinforcement Learning from Human Feedback)
- Direkte Präferenzoptimierung (Direct Preference Optimization)
- Bayessches aktives Lernen (Bayesian Active Learning)
- Präferenzlernen mit Gauß-Prozessen (Gaussian Process Preference Learning)
Verwandte Begriffe
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
Verwandte Projekte
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
Videos
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology