Offline Reinforcement Learning

Detto anche: batch reinforcement learning, batch RL, offline RL
Categoria: Learning & autonomy › RL & simulation
Tag: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

Apprendimento per rinforzo a partire da un dataset fisso di transizioni raccolto in precedenza, senza ulteriore interazione con l'ambiente durante l'addestramento.

Definizione

L'apprendimento per rinforzo offline (offline reinforcement learning) apprende una policy interamente da un dataset statico di stati, azioni, ricompense e stati successivi, raccolto in precedenza da persone, controllori programmati o policy precedenti. A differenza dell'RL online standard, l'agente non può provare azioni nuove e osservarne il risultato durante l'addestramento. Questo scenario è interessante per la robotica, dove l'interazione con il mondo reale è lenta, costosa e talvolta non sicura, e dove possono già esistere ampi registri di dati robotici. A differenza dell'apprendimento per imitazione, l'RL offline usa le ricompense presenti nei dati, quindi in linea di principio può apprendere una policy migliore del comportamento che ha generato i dati, per esempio combinando le parti buone di traiettorie diverse.

La difficoltà centrale è lo spostamento di distribuzione tra la policy appresa e i dati. I metodi basati sul valore stimano Q(s, a) con il bootstrapping dal valore dell'azione successiva che la policy appresa sceglierebbe. Se quell'azione compare raramente o mai nel dataset, la sua stima di valore non è vincolata, e la massimizzazione tende a scegliere proprio le azioni il cui valore è erroneamente alto. L'RL online corregge questi errori provando le azioni; l'RL offline non può farlo. I metodi offline restano quindi vicini ai dati in uno di diversi modi: vincolando la policy verso la policy di comportamento (come in BCQ, Fujimoto et al., 2019), penalizzando i valori delle azioni non viste (come nel Q-learning conservativo, Kumar et al., 2020), evitando del tutto di interrogare azioni fuori distribuzione (come nel Q-learning implicito, Kostrikov et al., 2021) o aggiungendo un termine di behavior cloning a una loss actor-critic off-policy.

I risultati dipendono fortemente dal dataset: dalla sua copertura di stati e azioni, dalla qualità del comportamento che lo ha prodotto e dal fatto che le ricompense siano disponibili o debbano essere etichettate in seguito. Un flusso di lavoro comune è il preaddestramento offline seguito da una quantità limitata di fine-tuning online. L'RL offline è collegato all'RL off-policy, ma è distinto da esso: gli algoritmi off-policy apprendono da dati generati da altre policy ma normalmente continuano a raccogliere dati nuovi, e spesso danno cattivi risultati quando questa raccolta si interrompe.

Perché è importante

La maggior parte dei robot non può permettersi milioni di episodi per tentativi ed errori sull'hardware, ma molti gruppi dispongono di registri di teleoperazione, esecuzioni programmate ed esperimenti precedenti. L'RL offline è la famiglia di metodi progettata per trasformare questi dati in policy in modo sicuro, e spiega perché eseguire semplicemente un algoritmo off-policy standard su un dataset fisso spesso fallisce.

Applicazioni principali

Apprendimento di policy di manipolazione da dati registrati di teleoperazione e di esecuzioni programmate
Preaddestramento di policy robotiche prima di un fine-tuning online limitato
Miglioramento rispetto a dimostrazioni subottimali usando etichette di ricompensa
Apprendimento dai dati in scenari in cui l'esplorazione non è sicura, come la guida
Riutilizzo dei dati di esperimenti precedenti invece di scartarli

In pratica

Un gruppo che lavora in un magazzino dispone di mesi di tentativi di prelievo registrati da un sistema di presa programmato, ciascuno etichettato come successo o fallimento. Invece di eseguire nuove prove, addestra sui registri un agente di Q-learning conservativo, con l'immagine e lo stato della pinza come ingresso. Prima del rilascio, confronta le prese scelte dalla policy appresa con la distribuzione dei dati e la valuta su un piccolo insieme di oggetti tenuti da parte in una cella di prova supervisionata. Poi consente un breve periodo di fine-tuning online con una persona in grado di fermare il robot, il che corregge gli errori residui nelle situazioni viste raramente.

Idee sbagliate comuni

L'RL offline è solo behavior cloning su un dataset — usa le ricompense e può migliorare rispetto ai dati, mentre il behavior cloning copia le azioni che vi sono contenute
Qualsiasi algoritmo off-policy funziona offline — senza dati nuovi, i metodi off-policy standard sovrastimano il valore delle azioni non viste e spesso collassano
Più dati danno sempre una policy offline migliore — contano copertura e qualità; un grande dataset di comportamenti quasi identici offre poco margine di miglioramento
L'RL offline non richiede valutazione sul sistema reale — le stime offline delle prestazioni della policy non sono affidabili, quindi servono comunque test reali o simulati con cura

Chi dovrebbe saperlo

Ricercatori di apprendimento robotico che lavorano con grandi dataset registrati
Ingegneri con flotte che producono dati operativi
Professionisti dell'apprendimento per rinforzo che passano dalla simulazione all'hardware
Team di ML per la guida autonoma e la manipolazione

Tecnologie correlate

Conservative Q-Learning (CQL)
Implicit Q-Learning (IQL)
Batch-Constrained Q-Learning (BCQ)
D4RL
Decision Transformer

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Video

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL