Residual Reinforcement Learning

Detto anche: residual RL, residual policy learning
Categoria: Learning & autonomy › RL & simulation
Tag: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

Apprendimento per rinforzo di una correzione che viene sommata alle azioni di un controllore esistente o di una policy appresa, così che l'apprendimento parta da un comportamento ragionevole invece che da zero.

Definizione

Apprendimento per rinforzo residuo (residual reinforcement learning) divide l'azione di un robot in due parti: l'uscita di una policy di base e un residuo appreso. La policy di base può essere un controllore progettato a mano, un inseguitore di traiettoria o una policy addestrata con l'apprendimento per imitazione. La policy residua osserva lo stato, spesso insieme all'azione di base, e produce una correzione che viene sommata all'azione di base. Solo il residuo viene addestrato con l'apprendimento per rinforzo; la policy di base resta fissa. L'approccio è stato introdotto in modo indipendente da due gruppi nel 2018 e nel 2019, con i nomi residual policy learning e residual reinforcement learning for robot control.

Partire da una policy di base funzionante cambia il problema di apprendimento in modi utili. All'inizio dell'addestramento, quando il residuo è quasi nullo, il robot si comporta già in modo sensato, quindi l'esplorazione è più sicura e le ricompense sono più facili da raggiungere, il che conta per i compiti a ricompensa sparsa e per l'addestramento su hardware reale. Il residuo deve imparare solo ciò che la policy di base sbaglia, come effetti di contatto, attrito o variazioni degli oggetti che un controllore non modella. Inizializzare la rete residua in modo che produca zero e limitarne l'ampiezza sono modi comuni per mantenere il comportamento iniziale vicino alla policy di base.

La policy di base limita anche ciò che si può apprendere. Se è lontana da un buon comportamento, un residuo limitato potrebbe non riuscire a correggerla, e uno illimitato rinuncia al vantaggio in termini di sicurezza. Alcune varianti lasciano che il residuo regoli parametri del controllore come guadagni o setpoint invece delle azioni grezze, oppure combinano i residui con policy apprese da un piccolo numero di dimostrazioni, così che l'imitazione fornisca il comportamento di base e l'apprendimento per rinforzo lo affini in precisione o robustezza.

Perché è importante

L'apprendimento per rinforzo puro su robot reali è lento e può essere pericoloso, mentre i controllori progettati a mano e le policy di imitazione sono spesso quasi corretti ma falliscono nei dettagli del contatto. L'RL residuo combina i due, il che lo rende un modo pratico per migliorare controllori esistenti con una quantità limitata di interazione nel mondo reale.

Applicazioni principali

Assemblaggio ricco di contatti come l'inserimento di un perno in un foro (peg-in-hole)
Affinamento con apprendimento per rinforzo di policy apprese per imitazione
Correzione di controllori basati su modello per attrito e dinamica non modellati
Adattamento all'hardware reale di controllori addestrati in simulazione
Miglioramento della presa e della manipolazione in mano a partire da un riferimento programmato

In pratica

Un team usa un controllore di impedenza per inserire un perno in un foro con accoppiamento stretto. Il controllore raggiunge il foro in modo affidabile, ma spesso si incastra a causa di piccoli errori di posa e dell'attrito. Il team aggiunge una policy residua che vede la posa dell'end effector e la lettura forza-coppia al polso e produce un piccolo scostamento della posizione obiettivo del controllore, limitato a un intervallo stretto. Il residuo parte da zero, quindi i primi episodi si comportano come il controllore originale, e viene addestrato con un algoritmo off-policy come soft actor-critic usando una ricompensa basata sulla profondità di inserimento. Nel corso dell'addestramento impara i piccoli movimenti correttivi che sbloccano un perno incastrato, mentre il controllore di base continua a gestire il movimento grossolano.

Idee sbagliate comuni

L'RL residuo riaddestra il controllore di base — la policy di base resta fissa e viene appresa solo la correzione additiva
Va bene qualsiasi policy di base — il residuo è di solito limitato, quindi una policy di base scadente limita ciò che il sistema combinato può ottenere
L'RL residuo elimina la necessità di progettare la ricompensa — il residuo ha comunque bisogno di una ricompensa che descriva il compito; la policy di base rende solo l'esplorazione più facile e più sicura

Chi dovrebbe saperlo

Ricercatori di apprendimento robotico
Ingegneri di manipolazione che lavorano su compiti ricchi di contatti
Ingegneri del controllo che migliorano controllori esistenti con i dati
Professionisti del sim-to-real

Tecnologie correlate

Soft Actor-Critic
Twin Delayed DDPG (TD3)
Controllo di impedenza (Impedance Control)
Behavior cloning (Behavior Cloning)
Proximal Policy Optimization

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim