Learning from Fleet Experience: A Collective Learning Paradigm for Robots

Autori: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

I robot dispiegati condividono le esecuzioni riuscite e i fallimenti decidono su quali riaddestrare. Con fino a 96 robot AgiBot G2 e nessuna nuova azione di esperti, cinque compiti raggiungono il 93,3–99,2% di successo.

Perché è importante

Dopo l'inizializzazione, l'unico contributo umano durante FERT è un'etichetta binaria di successo per episodio e il ripristino degli ambienti; le azioni usate per l'apprendimento provengono dai robot stessi. Tutte le policy sono state valutate su due robot che non hanno contribuito con dati di addestramento, quindi i guadagni riportati si trasferiscono tra esemplari di robot della stessa piattaforma.

Problema

Migliorare la policy di un robot dispiegato di solito richiede teleoperatori che osservino l'esecuzione, individuino i fallimenti e prendano il controllo per fornire azioni correttive. Questa supervisione è difficile da scalare man mano che la flotta cresce, anche se una flotta più grande produce più esperienza di esecuzione utilizzabile per l'apprendimento.

Soluzione proposta

L'apprendimento da esperienza collettiva (CEL) mette in comune l'esperienza di tutti i robot dispiegati per aggiornare un'unica policy condivisa. Il suo algoritmo, FERT, conserva le traiettorie riuscite come obiettivi d'azione e usa i circa tre secondi che precedono ogni fallimento come query, abbinata tramite dynamic time warping di sottosequenze con vincolo di pendenza su caratteristiche visive congelate più lo stato dei giunti, per aumentare la priorità di campionamento dei segmenti riusciti correlati durante il fine-tuning di π0 con flow matching. Il sistema di addestramento asincrono tollerante ai guasti (FATS), con un data plane SwarmLink e un control plane HotSwarm, mantiene in funzione raccolta, inferenza nel cloud e addestramento mentre singoli robot si guastano e vengono riavviati sul posto.

Idee chiave

• Le esecuzioni fallite sono utili come query di recupero anche se le loro azioni non vengono mai imitate: rimuovere il recupero guidato dai fallimenti ha ridotto il successo su Phone Packaging (16 robot) dall'86,7% al 64,2%.
• A parità di tempo di raccolta per robot, il successo di FERT è in generale cresciuto con la dimensione della flotta, mentre HG-DAgger, con supervisione umana, si è saturato (Phone Charging, Phone Packaging) o è peggiorato (Stool Assembly) al crescere delle flotte; con 8 robot FERT poteva scendere sotto la sua policy iniziale.
• Estendere ogni segmento recuperato di 30 fotogrammi per lato conta: senza l'estensione il successo è sceso dall'86,7% al 57,5%.
• Il recupero locale dei guasti mantiene produttiva la flotta: 30 incidenti su 22 dei 96 robot hanno sottratto 8,3 delle 660 ore-robot (1,3%), e dopo un guasto mediano la flotta ha completato il 99% degli episodi che completava prima.
• In una riproduzione delle tracce, cicli di raccolta sincroni avrebbero raccolto solo il 33% degli episodi dell'esecuzione, perché ogni ciclo attende l'episodio o la pausa del robot più lento.

Risultati principali

• Il successo medio su cinque compiti è salito dal 36,3% (SFT) all'81,0% (HG-DAgger multi-robot) e al 97,3% (FERT), una riduzione relativa dell'86,0% del tasso di fallimento; 120 prove per compito su robot tenuti da parte.
• Phone Packaging con 96 robot: 79,2% → 98,3%; Phone Charging: 60,0% → 97,5% (riduzione relativa dei fallimenti del 93,8%).
• FERT ha battuto RLT e RECAP su tutti e cinque i compiti di 12,3 e 11,5 punti percentuali in media, e ha superato sei teleoperatori umani di 16,7 punti in media.
• Il successo su Phone Packaging è cresciuto dall'86,7% con 16 robot di addestramento al 98,3% con 96.
• L'esecuzione con 96 robot ha raccolto 9.834 episodi; al di fuori della pausa pranzo circa 65 robot erano in esecuzione contemporaneamente e la flotta completava 24 episodi al minuto; i robot sono ripartiti con una mediana di 12 s dopo la fine di un incidente.
• Sul collegamento edge-cloud da 30 Gbps, il 95,18% dei trasferimenti di osservazioni si è concluso entro 20 ms e l'83,15% delle risposte con action chunk ha richiesto 200–250 ms.

Limiti

• Gli autori affermano che lo studio valuta policy specifiche per compito su cinque compiti con un'unica piattaforma robotica; insiemi di compiti più ampi, piattaforme robotiche eterogenee e adattamento su periodi più lunghi sono lasciati a lavori futuri.
• Gli esseri umani etichettano ancora l'esito di ogni episodio e ripristinano gli ambienti; un modello di ricompensa appreso è menzionato come opzione ma non usato.
• FERT parte da una policy già addestrata con dimostrazioni di esperti (SFT) e interventi umani (HG-DAgger multi-robot).
• Con flotte piccole FERT può finire al di sotto della sua policy iniziale, per esempio con 8 robot su Stool Assembly e Phone Packaging.
• La garanzia di miglioramento locale (Teorema 1) vale solo sotto le ipotesi dichiarate di replay e di allineamento del recupero e con un passo sufficientemente piccolo.

Impatto sul settore

Su Hugging Face daily papers ha ricevuto 112 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. L'articolo indica una pagina del progetto (cel-robot-learning.github.io); il suo testo non dichiara un rilascio di codice o dati. FATS è costruito sul framework RLinf.

Abstract

L'esperienza generata durante il dispiegamento offre ai robot l'opportunità di migliorare l'affidabilità della policy imparando dalle proprie esecuzioni. Tuttavia, l'apprendimento tramite correzioni umane richiede teleoperatori che monitorino l'esecuzione e intervengano quando le policy falliscono, un'esigenza difficile da soddisfare man mano che le flotte di robot crescono. Introduciamo l'apprendimento da esperienza collettiva (CEL), un paradigma di apprendimento in cui i robot dispiegati condividono la propria esperienza di esecuzione per migliorare una policy comune. Realizziamo CEL tramite il fine-tuning con recupero dell'esperienza guidato dai fallimenti (FERT), che usa i contesti di fallimento delle esecuzioni dei robot per recuperare segmenti di traiettoria pertinenti dall'esperienza riuscita condivisa della flotta e usa le loro azioni come supervisione per gli aggiornamenti della policy, senza raccogliere ulteriori dimostrazioni di esperti o azioni correttive. Un sistema di addestramento asincrono tollerante ai guasti (FATS) coordina la raccolta dell'esperienza, l'ottimizzazione della policy e la distribuzione della policy nonostante le interruzioni locali all'interno della flotta di robot. Su cinque compiti di manipolazione nel mondo reale, le policy risultanti raggiungono tassi di successo del 93,3-99,2%, valutati su 120 prove per compito su robot esclusi dalla raccolta dei dati di addestramento. A parità di tempo di raccolta per robot, flotte più grandi forniscono più esperienza e FERT ottiene in generale tassi di successo più alti in tutte le dimensioni valutate. Nell'imballaggio di telefoni in più fasi, imparare con 96 robot aumenta il successo dal 79,2% al 98,3%. Questi risultati supportano l'esperienza collettiva come base pratica per un apprendimento robotico scalabile e come via per migliorare l'affidabilità della policy durante il dispiegamento senza raccogliere ulteriori azioni correttive di esperti.

Link

• arXiv 2610.25736: https://arxiv.org/abs/2610.25736
• PDF: https://arxiv.org/pdf/2610.25736v1
• Pagina del progetto: https://cel-robot-learning.github.io/