Hindsight Experience Replay (HER)
- Detto anche: HER
- Categoria: Learning & autonomy › RL & simulation
- Tag: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
Una tecnica di apprendimento per rinforzo condizionato all'obiettivo che rietichetta gli episodi falliti con obiettivi che l'agente ha effettivamente raggiunto, trasformando i fallimenti a ricompensa sparsa in dati di addestramento utili.
Definizione
Hindsight Experience Replay (HER) affronta un problema comune nell'apprendimento robotico: con una ricompensa sparsa che viene data solo quando si raggiunge un obiettivo, un robot che agisce a caso non ha quasi mai successo, quindi non riceve alcun segnale di apprendimento. HER, introdotto da Andrychowicz et al. nel 2017, riutilizza ogni episodio fallito fingendo, a posteriori, che l'obiettivo fosse ciò che l'agente ha effettivamente ottenuto. Un episodio che cercava di spingere un blocco fino al punto A ma lo ha lasciato nel punto B diventa un esempio riuscito di spinta del blocco fino al punto B.
Il metodo funziona con policy e funzioni di valore condizionate all'obiettivo, che ricevono in ingresso sia lo stato sia l'obiettivo desiderato, e con algoritmi off-policy come DDPG, TD3 o SAC che apprendono da un replay buffer. Ogni transizione memorizzata viene copiata con un obiettivo sostituito e una ricompensa ricalcolata per quell'obiettivo. Diverse strategie scelgono il sostituto: lo stato finale dell'episodio, uno stato casuale dello stesso episodio o, più comunemente, uno stato raggiunto più avanti nello stesso episodio (la strategia "future"). Poiché la ricompensa deve essere ricalcolata per qualsiasi obiettivo, HER richiede una funzione di ricompensa che possa essere valutata per obiettivi arbitrari, di solito verificando se l'obiettivo raggiunto rientra in una tolleranza rispetto a quello desiderato.
HER agisce come un curriculum implicito: all'inizio gli obiettivi rietichettati sono facili, vicini al punto in cui il robot arriva già, e man mano che la policy migliora gli obiettivi che raggiunge si estendono fino a coprire lo spazio. Non aiuta quando l'obiettivo non può essere ricavato dallo stato raggiunto, quando le ricompense dipendono da qualcosa di più del risultato finale, né con algoritmi on-policy che non possono riutilizzare dati vecchi. La rietichettatura introduce anche una distorsione nella distribuzione degli obiettivi nel buffer, che lavori successivi hanno esaminato e corretto in vari modi.
Perché è importante
Le ricompense di successo sparse sono il modo più naturale di specificare molti compiti di manipolazione, ma è molto difficile apprendere direttamente da esse. HER ha reso pratico addestrare policy di spinta, scivolamento e pick-and-place a partire da ricompense binarie senza termini di ricompensa modellati a mano, e da allora la rietichettatura degli obiettivi è diventata uno strumento standard nell'apprendimento condizionato all'obiettivo.
Applicazioni principali
- Spinta, scivolamento e pick-and-place a ricompensa sparsa con bracci robotici
- Addestramento di policy condizionate all'obiettivo che raggiungono posizioni bersaglio arbitrarie
- Apprendimento della navigazione verso posizioni obiettivo da ricompense di solo successo
- Rietichettatura di dimostrazioni o dati di gioco con gli obiettivi effettivamente raggiunti
- Benchmark multi-obiettivo per l'apprendimento per rinforzo off-policy
In pratica
Un ingegnere addestra un braccio simulato a posizionare un blocco in posizioni bersaglio scelte a caso, con una ricompensa di 0 in caso di successo e -1 altrimenti. Senza HER, SAC migliora a malapena, perché il blocco finisce raramente sul bersaglio per caso. Con HER, ogni transizione viene memorizzata anche con obiettivi presi dalle posizioni del blocco raggiunte più avanti in quell'episodio, e la ricompensa viene ricalcolata come successo se il blocco si trova entro pochi centimetri dall'obiettivo sostituito. L'ingegnere verifica che l'osservazione separi chiaramente l'obiettivo raggiunto (la posizione del blocco) da quello desiderato, così che il codice di rietichettatura possa scambiare l'uno con l'altro.
Idee sbagliate comuni
- HER funziona con qualsiasi algoritmo di apprendimento per rinforzo — si basa sul riutilizzo delle transizioni memorizzate, quindi è adatto ai metodi off-policy come DDPG, TD3 e SAC, non ai metodi on-policy come PPO
- HER elimina la necessità di progettare la ricompensa — richiede comunque una ricompensa calcolabile per qualsiasi obiettivo e una definizione chiara di quale parte dello stato conti come obiettivo raggiunto
- I dati rietichettati sono privi di distorsioni — sostituire gli obiettivi con quelli raggiunti cambia la distribuzione di obiettivi ed esiti nel buffer, il che può distorcere le stime di valore
Chi dovrebbe saperlo
- Professionisti dell'apprendimento per rinforzo che lavorano sulla manipolazione
- Ricercatori di apprendimento robotico che usano ricompense sparse o binarie
- Ingegneri che sviluppano policy condizionate all'obiettivo
- Studenti che implementano algoritmi di apprendimento off-policy
Tecnologie correlate
- Deep Deterministic Policy Gradient (DDPG)
- Twin Delayed DDPG (TD3)
- Replay buffer (buffer di riproduzione)
- Universal Value Function Approximators
- Gymnasium-Robotics
Termini correlati
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Video
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers