Reward Shaping
- Categoria: Learning & autonomy › RL & simulation
- Tag: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
Aggiungere termini supplementari alla ricompensa dell'apprendimento per rinforzo affinché l'agente riceva un riscontro utile prima di raggiungere l'obiettivo per la prima volta, idealmente senza cambiare quale comportamento è ottimo.
Definizione
Reward shaping modifica la funzione di ricompensa di un problema di apprendimento per rinforzo per rendere più facile l'apprendimento. Molti compiti robotici hanno una ricompensa naturale sparsa: l'agente riceve un segnale solo quando il cassetto è aperto o il perno è inserito. Con un'esplorazione casuale, un robot può non raggiungere quasi mai quello stato e quindi ricevere quasi nessun segnale di apprendimento. Il reward shaping aggiunge termini intermedi, come la distanza negativa della pinza dalla maniglia, un bonus per una presa stabile o l'avanzamento lungo una sequenza di sotto-obiettivi, così che l'agente riceva un riscontro molto prima di riuscire per la prima volta.
Il rischio è che la ricompensa modificata cambi il compito. Un robot ricompensato per la vicinanza della pinza può imparare a restare sospeso vicino alla maniglia senza tirarla, e una ricompensa per la velocità in avanti può produrre andature che sfruttano difetti del simulatore. Ng, Harada e Russell (1999) hanno dimostrato che termini di shaping di una forma specifica, F(s, s′) = γΦ(s′) − Φ(s) per una funzione potenziale Φ definita sugli stati, lasciano invariate le policy ottime del problema originale. Questo si chiama reward shaping basato su potenziale. Poiché con questi termini qualsiasi ricompensa raccolta percorrendo un ciclo di stati ha somma zero, l'agente non può trarre vantaggio da cicli che non fanno avanzare il compito. Termini che non hanno questa forma possono cambiare la policy ottima. A volte questo è voluto, quando i termini aggiuntivi esprimono preferenze reali come un moto fluido o un basso consumo di energia, ma deve essere una scelta deliberata.
Nella pratica robotica, le ricompense per la locomozione e la manipolazione combinano spesso molti termini pesati, e la regolazione dei loro pesi assorbe una larga parte dello sforzo di ingegneria. Tra i complementi e le alternative ci sono il curriculum learning, la rietichettatura a posteriori degli obiettivi, l'apprendimento da dimostrazioni, l'apprendimento per rinforzo inverso e le ricompense calcolate da rappresentazioni visive apprese, ad esempio una stima dell'avanzamento verso un'immagine di sotto-obiettivo. Questi riducono la progettazione manuale delle ricompense, ma portano con sé propri modi di guasto.
Perché è importante
Che un compito di apprendimento robotico arrivi a convergere dipende spesso dalla sua ricompensa. Il reward shaping è il modo in cui la maggior parte delle policy di locomozione e manipolazione in simulazione diventa addestrabile, e ricompense modellate male sono un motivo comune di policy che ottengono buoni punteggi durante l'addestramento ma non svolgono il compito previsto.
Applicazioni principali
- Addestramento di policy di manipolazione quando il successo nel compito è sparso
- Ricompense di locomozione con gambe che combinano termini di inseguimento della velocità, postura ed energia
- Compiti a lungo orizzonte suddivisi in sotto-obiettivi con ricompense di avanzamento
- Navigazione con termini di distanza dall'obiettivo
- Manipolazione fine in mano addestrata in simulazione
In pratica
Un team addestra in simulazione una policy per aprire il cassetto di un mobile. Con una ricompensa data solo quando il cassetto è aperto, l'addestramento non fa progressi. Il team aggiunge un termine per la distanza negativa della pinza dalla maniglia, un bonus ogni volta che la maniglia viene afferrata e un termine proporzionale a quanto il cassetto è stato aperto. La policy impara presto a raggiungere e afferrare, ma poi si blocca, perché rilasciare e riafferrare la maniglia incassa il bonus di presa più e più volte. Il team sostituisce il bonus con un termine basato su potenziale, la variazione da un passo al successivo di un potenziale che cresce man mano che il cassetto si apre e la pinza si avvicina alla maniglia, così che alternare tra stati non frutti nulla nel complesso, e aggiunge una piccola penalità sulla velocità dei giunti per un moto più fluido. Il team giudica la policy finale in base al criterio di successo sparso, non al ritorno modificato.
Idee sbagliate comuni
- Qualsiasi termine di ricompensa aggiunto è innocuo se punta verso l'obiettivo — i termini non basati su potenziale possono cambiare la policy ottima e favorire il reward hacking
- Un ritorno modificato più alto significa una policy migliore — solo le prestazioni sul vero obiettivo del compito mostrano se la policy fa ciò che si intendeva
- Il reward shaping basato su potenziale accelera sempre l'apprendimento — preserva le policy ottime, ma un potenziale scelto male può comunque rallentare l'esplorazione
- Reward shaping e curriculum learning sono la stessa cosa — lo shaping cambia la ricompensa, mentre un curriculum cambia l'ordine o la difficoltà dei compiti e degli ambienti
Chi dovrebbe saperlo
- Ingegneri di apprendimento per rinforzo che addestrano policy per robot
- Ricercatori di locomozione e manipolazione che lavorano in simulazione
- Ingegneri di simulazione che configurano ambienti di addestramento
- Studenti che imparano l'apprendimento per rinforzo per la robotica
Tecnologie correlate
- Reward shaping basato su potenziale (Potential-Based Reward Shaping)
- Ricompense sparse (Sparse Rewards)
- Hindsight Experience Replay
- Curriculum learning (apprendimento con curriculum)
- Apprendimento per rinforzo inverso (Inverse Reinforcement Learning)
- Modelli di ricompensa appresi (Learned Reward Models)
Termini correlati
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
Progetti correlati
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Video
- Reward Shaping: Udacity