Preference-Based Learning
- Detto anche: preference learning, PbRL, learning from comparisons
- Categoria: Learning & autonomy › Learning from demonstration
- Tag: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
Apprendere una funzione di ricompensa o una policy da confronti umani, per esempio quale di due comportamenti del robot sia migliore, anziché da dimostrazioni o punteggi numerici.
Definizione
L'apprendimento basato sulle preferenze (preference-based learning) adatta un modello di ciò che una persona vuole a partire dai suoi confronti tra alternative. Una tipica richiesta mostra due traiettorie del robot e chiede quale sia migliore; altre forme chiedono alla persona di ordinare più opzioni o di scegliere la migliore in un insieme. Queste risposte servono ad apprendere una funzione di ricompensa, che un pianificatore o un algoritmo di apprendimento per rinforzo poi ottimizza, oppure, in alcuni metodi, ad aggiornare direttamente la policy. Per le persone è spesso più facile dare confronti coerenti che punteggi assoluti, e possono darli anche per comportamenti che non saprebbero dimostrare da sole, come movimenti rapidi o dinamici del robot.
Il legame usuale tra ricompense e scelte è il modello di Bradley-Terry: la probabilità che una persona preferisca l'opzione A all'opzione B è una funzione logistica della differenza tra le loro ricompense, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))). Il modello di Plackett-Luce lo estende a ordinamenti completi. Un parametro di razionalità o di temperatura stabilisce quanto rumore si assume nelle risposte della persona. La ricompensa può essere una somma pesata di caratteristiche di una traiettoria progettate a mano, un processo gaussiano o una rete neurale addestrata sui confronti. Poiché ogni risposta porta al massimo un bit di informazione, molti metodi scelgono le richieste in modo attivo, selezionando la coppia la cui risposta ridurrebbe di più l'incertezza sulla ricompensa, come nel lavoro sull'apprendimento attivo della ricompensa basato sulle preferenze di Sadigh et al. (2017).
Nell'apprendimento per rinforzo profondo, Christiano et al. (2017) mostrarono che un modello di ricompensa neurale addestrato su confronti umani tra brevi clip poteva insegnare comportamenti complessi agli agenti, e lo stesso approccio è alla base dell'apprendimento per rinforzo da feedback umano (RLHF) per i modelli linguistici. In robotica si usa per personalizzare il comportamento per i singoli utenti, per esempio lo stile di movimento, lo stile di guida, la tempistica di un passaggio di oggetti o i parametri del passo di un esoscheletro. I problemi pratici comprendono preferenze incoerenti o mutevoli, la scarsa informazione per richiesta e la scelta di caratteristiche o rappresentazioni in cui le preferenze della persona possano essere espresse; alcuni lavori apprendono tali rappresentazioni dalle interazioni naturali dell'utente invece di progettarle a mano.
Perché è importante
Molti comportamenti dei robot dipendono da ciò che una determinata persona trova confortevole, leggibile o piacevole, e queste qualità sono difficili da scrivere come ricompensa o da mostrare in una dimostrazione. L'apprendimento basato sulle preferenze offre un modo pratico per coglierle con domande semplici, e gli stessi metodi sono oggi centrali per allineare i grandi modelli appresi al giudizio umano.
Applicazioni principali
- Personalizzazione dello stile di movimento, della velocità e della prossemica del robot per i singoli utenti
- Apprendimento di funzioni di ricompensa per l'apprendimento per rinforzo quando le ricompense sono difficili da specificare
- Regolazione dei parametri di controllo di esoscheletri e protesi in base al feedback dell'utente
- Apprendimento delle preferenze di stile di guida per i veicoli autonomi
- Apprendimento per rinforzo da feedback umano per modelli linguistici e modelli visione-linguaggio-azione
In pratica
Un gruppo vuole che un robot domestico si avvicini e consegni oggetti in un modo che ciascun utente trovi confortevole. Descrive ogni avvicinamento candidato con caratteristiche come velocità, distanza mantenuta, angolo di avvicinamento e quanto presto il braccio si estende. In una breve sessione il robot esegue due varianti e l'utente dice quale preferisce. Dopo ogni risposta, una stima bayesiana dei pesi di ricompensa dell'utente viene aggiornata secondo un modello di Bradley-Terry, e la coppia successiva viene scelta in modo da essere la più informativa. Quando la stima smette di cambiare molto tra una risposta e l'altra, il pianificatore del robot usa la ricompensa appresa per generare nuovi avvicinamenti. Il gruppo verifica la coerenza ripetendo alcune richieste precedenti e smette di adattare se le risposte diventano contraddittorie.
Idee sbagliate comuni
- Le preferenze danno una misura assoluta della qualità — mostrano solo quale opzione è migliore, quindi la ricompensa appresa è definita a meno di una costante additiva e la sua scala dipende dal livello di rumore assunto
- Le richieste di confronto casuali vanno altrettanto bene — ogni risposta porta poca informazione, e le richieste scelte in modo attivo di solito richiedono molti meno confronti
- L'apprendimento basato sulle preferenze è la stessa cosa dell'RLHF — l'RLHF ne è un'applicazione ai grandi modelli; l'idea è più vecchia ed è molto usata in robotica
- Le preferenze umane sono coerenti e fisse — le persone fanno scelte rumorose, a volte intransitive, che possono cambiare con l'esperienza, quindi i modelli devono tenere conto di rumore e deriva
Chi dovrebbe saperlo
- Ricercatori di robot learning che lavorano con il feedback umano
- Ricercatori di interazione uomo-robot che progettano comportamenti personalizzati
- Ingegneri di apprendimento per rinforzo che faticano a specificare le ricompense
- Ingegneri di robotica assistiva e indossabile che adattano i dispositivi agli utenti
Tecnologie correlate
- Modello di Bradley-Terry (Bradley-Terry Model)
- Apprendimento per rinforzo da feedback umano (Reinforcement Learning from Human Feedback)
- Direct Preference Optimization
- Apprendimento attivo bayesiano (Bayesian Active Learning)
- Apprendimento delle preferenze con processi gaussiani (Gaussian Process Preference Learning)
Termini correlati
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
Progetti correlati
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
Video
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology