RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning
Autori: Kun Lei, Huanyu Li, Dongjie Yu, Zhenyu Wei, Lingxiao Guo, Zhennan Jiang, Ziyu Wang, Shiyu Liang, Huazhe Xu · Science Robotics 2026 2025
Licenze
- Open access
- Articolo: arXiv.org perpetual, non-exclusive license 1.0
In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.
Perché è importante
Mostra che l'apprendimento per rinforzo nel mondo reale può portare policy robotiche che partono da dimostrazioni umane al 100% di successo su otto compiti reali, alla velocità di teleoperatori esperti o più, e farle funzionare per ore in un luogo pubblico.
Soluzione proposta
RL-100 è un framework di apprendimento per rinforzo nel mondo reale basato su policy visuomotorie a diffusione. Unisce apprendimento per imitazione e apprendimento per rinforzo sotto un unico obiettivo PPO con clipping applicato all'interno del processo di denoising, nelle fasi offline e online, e distilla la policy a diffusione a più passi in un controllore a un solo passo, abbastanza veloce per il controllo ad alta frequenza.
Abstract
La manipolazione robotica nel mondo reale, in casa e in fabbrica, richiede affidabilità, efficienza e robustezza che si avvicinino o superino quelle di operatori umani esperti. Presentiamo RL-100, un framework di apprendimento per rinforzo nel mondo reale basato su policy visuomotorie a diffusione. RL-100 unifica apprendimento per imitazione e apprendimento per rinforzo sotto un unico obiettivo surrogato PPO con clipping, applicato all'interno del processo di denoising, ottenendo miglioramenti prudenti e stabili nelle fasi offline e online. Per soddisfare i requisiti di latenza dell'impiego, un metodo leggero di consistency distillation comprime la diffusione a più passi in un controllore a un solo passo per il controllo ad alta frequenza. Il framework è indipendente dal compito, dal corpo del robot e dalla rappresentazione, e supporta sia il controllo ad azione singola sia quello con action chunking. Valutiamo RL-100 su otto compiti diversi con robot reali, dalla spinta dinamica e dal bowling agile al versare, piegare vestiti, svitare, preparare succhi in più fasi e piegare scatole su un orizzonte lungo. RL-100 raggiunge il 100 per cento di successo nelle prove valutate, per un totale di 1000 episodi su 1000, inclusi fino a 250 tentativi consecutivi su 250 in un compito. Eguaglia o supera teleoperatori esperti nel tempo di completamento. Senza riaddestramento, una singola policy raggiunge circa il 90 per cento di successo zero-shot con cambiamenti di ambiente e dinamica, si adatta con poche dimostrazioni a variazioni significative del compito (86,7 per cento) e resta robusta a perturbazioni umane aggressive (circa il 96 per cento). In particolare, il nostro robot per succhi ha servito clienti a caso ininterrottamente per circa sette ore senza guasti, impiegato zero-shot in un centro commerciale. Questi risultati indicano una via pratica verso un apprendimento robotico pronto per l'impiego: partire da conoscenze pregresse umane, allineare gli obiettivi di addestramento a metriche fondate sulle prestazioni umane ed estendere in modo affidabile le prestazioni oltre le dimostrazioni umane.
Link
- arXiv 2510.14830: https://arxiv.org/abs/2510.14830
- DOI 10.1126/scirobotics.aed6267: https://doi.org/10.1126/scirobotics.aed6267
- PDF: https://arxiv.org/pdf/2510.14830