Learning from Fleet Experience: A Collective Learning Paradigm for Robots

Auteurs: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des robots déployés partagent leurs exécutions réussies, et les échecs déterminent sur lesquelles se réentraîner. Avec jusqu'à 96 robots AgiBot G2 et sans nouvelles actions d'experts, cinq tâches atteignent 93,3–99,2 % de réussite.

Pourquoi c'est important

Après l'initialisation, la seule intervention humaine pendant FERT est une étiquette binaire de réussite par épisode et la réinitialisation de l'environnement ; les actions utilisées pour l'apprentissage proviennent des robots eux-mêmes. Toutes les politiques ont été évaluées sur deux robots n'ayant fourni aucune donnée d'entraînement ; les gains rapportés se transfèrent donc entre exemplaires de robots de la même plateforme.

Problème

Améliorer une politique robotique déployée nécessite généralement des téléopérateurs qui observent l'exécution, repèrent les échecs et prennent la main pour fournir des actions correctives. Cette supervision est difficile à mettre à l'échelle à mesure qu'une flotte grandit, alors même qu'une flotte plus grande produit davantage d'expérience d'exécution exploitable pour l'apprentissage.

Solution proposée

L'apprentissage par expérience collective (CEL) met en commun l'expérience de tous les robots déployés pour mettre à jour une politique partagée. Son algorithme, FERT, conserve les trajectoires réussies comme cibles d'action et utilise les quelque trois secondes précédant chaque échec comme requête, appariée par déformation temporelle dynamique de sous-séquences à pente contrainte sur des caractéristiques visuelles figées et l'état articulaire, afin d'augmenter la priorité d'échantillonnage des segments réussis apparentés pendant le réglage fin de π0 par flow matching. Le système d'entraînement asynchrone tolérant aux pannes (FATS), avec un plan de données SwarmLink et un plan de contrôle HotSwarm, maintient la collecte, l'inférence dans le cloud et l'entraînement en fonctionnement pendant que des robots individuels tombent en panne et sont redémarrés sur place.

Idées clés

• Les exécutions échouées sont utiles comme requêtes de récupération même si leurs actions ne sont jamais imitées : supprimer la récupération guidée par les échecs a fait chuter la réussite sur Phone Packaging (16 robots) de 86,7 % à 64,2 %.
• À temps de collecte par robot fixé, la réussite de FERT augmentait généralement avec la taille de la flotte, tandis que HG-DAgger, piloté par l'humain, plafonnait (Phone Charging, Phone Packaging) ou déclinait (Stool Assembly) à mesure que les flottes grandissaient ; avec 8 robots, FERT pouvait passer sous sa politique de départ.
• Prolonger chaque segment récupéré de 30 images de chaque côté compte : sans ce prolongement, la réussite est tombée de 86,7 % à 57,5 %.
• La reprise locale après panne maintient la productivité de la flotte : 30 incidents de panne sur 22 des 96 robots ont retiré 8,3 des 660 heures-robot (1,3 %), et après un événement de panne médian, la flotte a réalisé 99 % autant d'épisodes qu'avant.
• Lors d'une relecture de traces, des cycles de collecte synchrones n'auraient recueilli que 33 % des épisodes de l'exécution, car chaque cycle attend l'épisode ou la pause du robot le plus lent.

Principaux résultats

• La réussite moyenne sur cinq tâches est passée de 36,3 % (SFT) à 81,0 % (HG-DAgger multi-robots) puis à 97,3 % (FERT), soit une réduction relative de 86,0 % du taux d'échec ; 120 essais par tâche sur des robots réservés à l'évaluation.
• Phone Packaging avec 96 robots : 79,2 % → 98,3 % ; Phone Charging : 60,0 % → 97,5 % (réduction relative des échecs de 93,8 %).
• FERT a battu RLT et RECAP sur les cinq tâches de 12,3 et 11,5 points de pourcentage en moyenne, et a dépassé six téléopérateurs humains de 16,7 points en moyenne.
• La réussite sur Phone Packaging est passée de 86,7 % avec 16 robots d'entraînement à 98,3 % avec 96.
• L'exécution à 96 robots a collecté 9 834 épisodes ; hors pause déjeuner, environ 65 robots fonctionnaient simultanément et la flotte réalisait 24 épisodes par minute ; les robots reprenaient en médiane 12 s après la fin d'un incident.
• Sur la liaison edge-cloud de 30 Gbps, 95,18 % des transferts d'observations se sont terminés en moins de 20 ms et 83,15 % des réponses en chunks d'actions ont pris 200–250 ms.

Limites

• Les auteurs indiquent que l'étude évalue des politiques spécifiques à cinq tâches sur une seule plateforme robotique ; des ensembles de tâches plus larges, des plateformes robotiques hétérogènes et une adaptation sur de plus longues périodes sont laissés à des travaux futurs.
• Des humains étiquettent toujours le résultat de chaque épisode et réinitialisent les environnements ; un modèle de récompense appris est mentionné comme option mais n'est pas utilisé.
• FERT part d'une politique déjà entraînée avec des démonstrations d'experts (SFT) et des interventions humaines (HG-DAgger multi-robots).
• Avec de petites flottes, FERT peut finir en dessous de sa politique initiale, par exemple avec 8 robots sur Stool Assembly et Phone Packaging.
• La garantie d'amélioration locale (Theorem 1) ne vaut que sous les hypothèses énoncées de relecture et d'alignement de la récupération, et pour un pas suffisamment petit.

Impact sur le domaine

Sur Hugging Face Daily Papers, il a recueilli 112 votes positifs, se classant dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article indique une page de projet (cel-robot-learning.github.io) ; son texte ne mentionne pas de publication du code ou des données. FATS est construit sur le framework RLinf.

Résumé

L'expérience générée pendant le déploiement offre aux robots l'occasion d'améliorer la fiabilité de leur politique en apprenant de leurs propres exécutions. Cependant, l'apprentissage par corrections humaines exige que des téléopérateurs surveillent l'exécution et interviennent lorsque les politiques échouent, une exigence difficile à satisfaire à mesure que les flottes de robots grandissent. Nous introduisons l'apprentissage par expérience collective (CEL), un paradigme d'apprentissage dans lequel des robots déployés partagent leur expérience d'exécution pour améliorer une politique commune. Nous réalisons CEL au moyen du réglage fin par récupération d'expérience guidée par les échecs (FERT), qui utilise les contextes d'échec des exécutions des robots pour récupérer des segments de trajectoire pertinents dans l'expérience réussie partagée de la flotte et utilise leurs actions comme supervision pour les mises à jour de la politique, sans collecter de démonstrations d'experts ni d'actions correctives supplémentaires. Un système d'entraînement asynchrone tolérant aux pannes (FATS) coordonne la collecte d'expérience, l'optimisation de la politique et sa distribution malgré des interruptions locales au sein de la flotte. Sur cinq tâches de manipulation réelles, les politiques obtenues atteignent des taux de réussite de 93,3-99,2 %, évalués sur 120 essais par tâche avec des robots exclus de la collecte des données d'entraînement. À temps de collecte par robot fixé, des flottes plus grandes fournissent davantage d'expérience et FERT atteint généralement des taux de réussite plus élevés sur les tailles évaluées. Pour l'emballage de téléphones en plusieurs étapes, l'apprentissage avec 96 robots fait passer la réussite de 79,2 % à 98,3 %. Ces résultats appuient l'expérience collective comme base pratique pour un apprentissage robotique à grande échelle et comme voie pour améliorer la fiabilité des politiques pendant le déploiement sans collecter d'actions correctives d'experts supplémentaires.

Liens

• arXiv 2610.25736: https://arxiv.org/abs/2610.25736
• PDF: https://arxiv.org/pdf/2610.25736v1
• Page du projet: https://cel-robot-learning.github.io/