HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
Autori: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine · Science Robotics 2025
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
Un sistema di RL con l'essere umano nel ciclo, efficiente nell'uso dei campioni, che addestra policy di manipolazione nel mondo reale fino a un successo quasi perfetto in 1-2,5 ore, raddoppiando i tassi di successo dell'apprendimento per imitazione.
Perché è importante
HIL-SERL dimostra che l'apprendimento per rinforzo è praticabile per la manipolazione robotica nel mondo reale quando è integrato correttamente con la guida umana. Il tempo di addestramento di 1-2,5 ore rende l'RL accessibile per un'acquisizione rapida delle abilità, cambiando radicalmente il calcolo su quando usare l'RL invece dell'apprendimento per imitazione nei compiti di manipolazione.
Problema
L'apprendimento per imitazione per la manipolazione robotica è limitato dalla qualità delle dimostrazioni e non riesce facilmente ad apprendere comportamenti di recupero o a ottimizzare la velocità. L'RL puro è troppo inefficiente nell'uso dei campioni per l'addestramento nel mondo reale. Esiste un divario pratico tra la ricerca di laboratorio sull'RL e abilità di manipolazione impiegabili.
Soluzione proposta
HIL-SERL integra le dimostrazioni umane per l'avvio iniziale della policy con correzioni umane online durante l'addestramento RL. Un algoritmo di RL efficiente (RLPD), combinato con una progettazione di sistema accurata, consente un rapido miglioramento della policy dall'interazione nel mondo reale, con persone che forniscono correzioni mirate quando il robot è in difficoltà.
Idee chiave
- Le correzioni umane durante l'addestramento RL forniscono una guida mirata, molto più efficiente nell'uso dei campioni delle sole dimostrazioni o dell'esplorazione autonoma
- Combinare dimostrazioni offline con correzioni online con l'essere umano nel ciclo crea un curriculum potente che avvia e poi affina rapidamente le policy
- Le scelte progettuali a livello di sistema (reward shaping, strategie di reset, infrastruttura di addestramento) sono importanti quanto l'algoritmo di RL di base per un impiego pratico nel mondo reale
- Le policy RL apprendono sia comportamenti reattivi di recupero sia strategie predittive che il puro apprendimento per imitazione non può ricavare dalle dimostrazioni
- 1-2,5 ore di addestramento nel mondo reale rendono l'RL praticabile per i compiti di manipolazione quotidiani, mettendo in discussione l'ipotesi che l'RL sia troppo lento per i robot reali
Risultati principali
- Tassi di successo quasi perfetti raggiunti in appena 1-2,5 ore di interazione con robot reali
- Miglioramento medio di 2 volte del tasso di successo rispetto alle baseline di apprendimento per imitazione
- Esecuzione dei compiti 1,8 volte più veloce rispetto all'apprendimento per imitazione e ai precedenti metodi di RL
- Gestisce con successo compiti diversi: manipolazione dinamica, assemblaggio di precisione e coordinazione a due bracci
- Le policy apprendono strategie di controllo reattive e predittive che emergono naturalmente dall'ottimizzazione RL
Limiti
- Un operatore umano fornisce correzioni durante l'addestramento, tramite teleoperazione, e la ricompensa di successo proviene da un classificatore addestrato su dimostrazioni umane.
- Non è chiaro se il metodo si estenda a compiti con orizzonti molto più lunghi, in cui la complessità dei campioni cresce.
- Gli esperimenti hanno usato poca randomizzazione, e la generalizzazione delle policy ad ambienti non strutturati non è stata verificata.
Impatto sul settore
HIL-SERL sta cambiando la narrazione secondo cui l'RL è impraticabile sui robot reali. Dimostrando che l'RL con l'essere umano nel ciclo può addestrare abilità di manipolazione precisa più velocemente e meglio del solo apprendimento per imitazione, sta spingendo la comunità a investire in sistemi di RL nel mondo reale invece di affidarsi solo a metodi offline.
Abstract
L'apprendimento per rinforzo (RL) è molto promettente per consentire ai robot di acquisire in autonomia abilità di manipolazione complesse, ma realizzare questo potenziale nel mondo reale si è rivelato difficile. Presentiamo un sistema di RL basato sulla visione, con una persona nel ciclo, che ottiene prestazioni notevoli su un insieme vario di compiti di manipolazione fine, tra cui manipolazione dinamica, assemblaggio di precisione e coordinazione di due bracci. Il nostro approccio integra dimostrazioni e correzioni umane, algoritmi di RL efficienti e altre scelte progettuali a livello di sistema per apprendere policy che raggiungono tassi di successo quasi perfetti e tempi ciclo rapidi con appena 1-2,5 ore di addestramento. Mostriamo che il nostro metodo supera nettamente le baseline di apprendimento per imitazione e i precedenti approcci di RL, con un miglioramento medio di 2x nel tasso di successo e un'esecuzione 1,8x più veloce. Attraverso esperimenti e analisi approfondite, spieghiamo perché il nostro approccio funziona e mostriamo come apprende policy robuste e adattive sia per strategie di controllo reattive sia predittive. I nostri risultati suggeriscono che l'RL può davvero apprendere un'ampia gamma di policy complesse di manipolazione basate sulla visione direttamente nel mondo reale, in tempi di addestramento pratici. Speriamo che questo lavoro ispiri una nuova generazione di tecniche apprese di manipolazione robotica, a beneficio sia delle applicazioni industriali sia dei progressi della ricerca. Video e codice sono disponibili sul sito del progetto https://hil-serl.github.io/.
Link
- arXiv 2410.21845: https://arxiv.org/abs/2410.21845
- DOI 10.1126/scirobotics.ads5033: https://doi.org/10.1126/scirobotics.ads5033
- PDF: https://arxiv.org/pdf/2410.21845.pdf
- Codice: https://github.com/rail-berkeley/hil-serl
- Pagina del progetto: https://hil-serl.github.io/