Preference-Based Learning
- Aussi appelé: preference learning, PbRL, learning from comparisons
- Catégorie: Learning & autonomy › Learning from demonstration
- Mots-clés: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
Apprentissage d'une fonction de récompense ou d'une politique à partir de comparaisons humaines, par exemple lequel de deux comportements de robot est le meilleur, plutôt qu'à partir de démonstrations ou de notes numériques.
Définition
L'apprentissage par préférences (Preference-based learning) ajuste un modèle de ce que veut une personne à partir de ses comparaisons entre des alternatives. Une requête typique montre deux trajectoires de robot et demande laquelle est la meilleure ; d'autres formes demandent à la personne de classer plusieurs options ou de choisir la meilleure dans un ensemble. Ces réponses servent à apprendre une fonction de récompense, qu'un planificateur ou un algorithme d'apprentissage par renforcement optimise ensuite, ou, dans certaines méthodes, à mettre à jour directement la politique. Il est souvent plus facile pour les personnes de donner des comparaisons cohérentes que des notes absolues, et elles peuvent en donner pour des comportements qu'elles ne pourraient pas démontrer elles-mêmes, comme des mouvements de robot rapides ou dynamiques.
Le lien habituel entre récompenses et choix est le modèle de Bradley-Terry (Bradley-Terry model) : la probabilité qu'une personne préfère l'option A à l'option B est une fonction logistique de la différence de leurs récompenses, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))). Le modèle de Plackett-Luce étend cela aux classements complets. Un paramètre de rationalité ou de température fixe le niveau de bruit supposé chez la personne. La récompense peut être une somme pondérée de caractéristiques d'une trajectoire conçues à la main, un processus gaussien, ou un réseau de neurones entraîné sur les comparaisons. Comme chaque réponse porte au plus un bit d'information, de nombreuses méthodes choisissent les requêtes de façon active, en retenant la paire dont la réponse réduirait le plus l'incertitude sur la récompense, comme dans les travaux de Sadigh et al. (2017) sur l'apprentissage actif de récompense par préférences.
En apprentissage par renforcement profond, Christiano et al. (2017) ont montré qu'un modèle de récompense neuronal entraîné sur des comparaisons humaines de courts extraits pouvait enseigner des comportements complexes à des agents, et la même approche est à la base de l'apprentissage par renforcement à partir de retours humains (RLHF) pour les modèles de langage. En robotique, on l'utilise pour personnaliser le comportement selon chaque utilisateur, par exemple le style de mouvement, le style de conduite, le timing d'une remise d'objet ou les paramètres d'allure d'un exosquelette. Les difficultés pratiques incluent des préférences incohérentes ou changeantes, l'information limitée par requête, et le choix de caractéristiques ou de représentations dans lesquelles les préférences de la personne peuvent s'exprimer ; certains travaux apprennent ces représentations à partir d'interactions naturelles avec les utilisateurs au lieu de les concevoir à la main.
Pourquoi c'est important
De nombreux comportements de robot dépendent de ce qu'une personne donnée trouve confortable, lisible ou agréable, et ces qualités sont difficiles à écrire sous forme de récompense ou à montrer dans une démonstration. L'apprentissage par préférences offre un moyen pratique de les saisir à partir de questions simples, et les mêmes méthodes sont désormais centrales pour aligner les grands modèles appris sur le jugement humain.
Applications principales
- Personnalisation du style de mouvement, de la vitesse et de la proxémie des robots selon chaque utilisateur
- Apprentissage de fonctions de récompense pour l'apprentissage par renforcement lorsque les récompenses sont difficiles à spécifier
- Réglage des paramètres de commande d'exosquelettes et de prothèses à partir des retours des utilisateurs
- Apprentissage des préférences de style de conduite pour les véhicules autonomes
- Apprentissage par renforcement à partir de retours humains pour les modèles de langage et les modèles Vision-Langage-Action
En pratique
Une équipe veut qu'un robot domestique s'approche et remette des objets d'une manière que chaque utilisateur trouve confortable. Elle décrit chaque approche candidate par des caractéristiques comme la vitesse, la distance maintenue, l'angle d'approche et le moment où le bras se tend. Lors d'une courte séance, le robot exécute deux variantes et l'utilisateur dit laquelle il préfère. Après chaque réponse, une estimation bayésienne des poids de récompense de l'utilisateur est mise à jour selon un modèle de Bradley-Terry, et la paire suivante est choisie pour être la plus informative. Une fois que l'estimation ne change plus guère d'une réponse à l'autre, le planificateur du robot utilise la récompense apprise pour générer de nouvelles approches. L'équipe vérifie la cohérence en répétant certaines requêtes antérieures et cesse l'adaptation si les réponses deviennent contradictoires.
Idées reçues
- Les préférences donnent une mesure absolue de la qualité — elles indiquent seulement quelle option est la meilleure, donc la récompense apprise n'est définie qu'à un décalage près et son échelle dépend du niveau de bruit supposé
- Des requêtes de comparaison aléatoires sont tout aussi bonnes — chaque réponse porte peu d'information, et des requêtes choisies activement nécessitent généralement bien moins de comparaisons
- L'apprentissage par préférences est la même chose que le RLHF — le RLHF en est une application aux grands modèles ; l'idée est plus ancienne et largement utilisée en robotique
- Les préférences humaines sont cohérentes et fixes — les gens font des choix bruités, parfois intransitifs, qui peuvent changer avec l'expérience, donc les modèles doivent tenir compte du bruit et de la dérive
Qui devrait le savoir
- Chercheurs en apprentissage robotique travaillant avec des retours humains
- Chercheurs en interaction humain-robot concevant des comportements personnalisés
- Ingénieurs en apprentissage par renforcement qui peinent à spécifier les récompenses
- Ingénieurs en robotique d'assistance et portable qui adaptent des dispositifs aux utilisateurs
Technologies associées
- Modèle de Bradley-Terry (Bradley-Terry Model)
- Apprentissage par renforcement à partir de retours humains (Reinforcement Learning from Human Feedback)
- Optimisation directe des préférences (Direct Preference Optimization)
- Apprentissage actif bayésien (Bayesian Active Learning)
- Apprentissage de préférences par processus gaussiens (Gaussian Process Preference Learning)
Termes associés
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
Projets associés
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
Vidéos
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology