Learning from Fleet Experience: A Collective Learning Paradigm for Robots

作者: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

已部署的机器人共享成功的执行记录，并由失败来决定用哪些记录重新训练。借助最多 96 台 AgiBot G2 机器人、无需新的专家动作，五项任务达到 93.3–99.2% 的成功率。

为何重要

初始化之后，FERT 期间唯一的人工输入是每个回合的二元成功标签和环境重置；用于学习的动作全部来自机器人自身。所有策略都在两台未贡献任何训练数据的机器人上评估，因此所报告的提升可以在同一平台的不同机器人个体之间迁移。

问题

改进已部署的机器人策略通常需要遥操作员观察执行、发现失败并接管以提供纠正动作。随着机队扩大，这种监督很难扩展，尽管更大的机队会产生更多可用于学习的执行经验。

提出的方法

集体经验学习（CEL）汇集所有已部署机器人的经验来更新一个共享策略。其算法 FERT 把成功轨迹保留为动作目标，并把每次失败前大约三秒的数据作为查询，通过在冻结的视觉特征加关节状态上进行斜率约束的子序列动态时间规整来匹配，从而在对 π0 进行 flow matching 微调时提高相关成功片段的采样优先级。容错异步训练系统（FATS）配有 SwarmLink 数据平面和 HotSwarm 控制平面，在个别机器人发生故障并原地重启时，仍能保持收集、云端推理和训练持续运行。

关键见解

失败的执行虽然其动作从不被模仿，但可以作为检索查询发挥作用：去掉失败引导的检索后，Phone Packaging（16 台机器人）的成功率从 86.7% 降至 64.2%。
在每台机器人收集时间固定的情况下，FERT 的成功率总体上随机队规模增大而上升，而需要人工把关的 HG-DAgger 随着机队扩大趋于饱和（Phone Charging、Phone Packaging）或下降（Stool Assembly）；在 8 台机器人时，FERT 可能低于其初始策略。
把每个检索到的片段两侧各延长 30 帧很重要：不做延长时，成功率从 86.7% 降至 57.5%。
局部故障恢复使机队保持高效：96 台机器人中有 22 台发生了 30 次故障事件，损失了 660 机器人小时中的 8.3 小时（1.3%），并且在一次中位数的故障事件之后，机队完成的回合数达到故障前的 99%。
在一次轨迹回放中，同步收集轮次只能收集到该次运行回合数的 33%，因为每一轮都要等待最慢的那台机器人的回合或暂停。

主要结果

五项任务的平均成功率从 36.3%（SFT）提高到 81.0%（多机器人 HG-DAgger），再到 97.3%（FERT），失败率相对降低 86.0%；每项任务在留出的机器人上进行 120 次试验。
96 台机器人的 Phone Packaging：79.2% → 98.3%；Phone Charging：60.0% → 97.5%（失败率相对降低 93.8%）。
FERT 在全部五项任务上击败 RLT 和 RECAP，平均分别高出 12.3 和 11.5 个百分点，并平均超过六名人类遥操作员 16.7 个百分点。
Phone Packaging 成功率从 16 台训练机器人时的 86.7% 增长到 96 台时的 98.3%。
96 台机器人的运行共收集了 9,834 个回合；午休时间以外约有 65 台机器人同时执行，机队每分钟完成 24 个回合；在事件结束后，机器人恢复运行的中位时间为 12 s。
在 30 Gbps 的边缘-云链路上，95.18% 的观测传输在 20 ms 内完成，83.15% 的动作块回复耗时 200–250 ms。

局限

作者表示，该研究在单一机器人平台上评估了五项任务的特定任务策略；更广泛的任务集合、异构机器人平台以及更长时间的适应留待未来工作。
仍需人工标注每个回合的结果并重置环境；学习型奖励模型被提及为一个选项，但并未使用。
FERT 从一个已经用专家演示（SFT）和人工干预（多机器人 HG-DAgger）训练过的策略开始。
在机队规模较小时，FERT 最终可能低于其初始策略，例如在 Stool Assembly 和 Phone Packaging 上使用 8 台机器人时。
局部改进保证（定理 1）只在所述的回放和检索对齐假设以及足够小的步长下成立。

对领域的影响

在 Hugging Face 每日论文上获得 112 个赞，位列该平台过去六个月机器人论文的前 5%。论文给出了项目页面（cel-robot-learning.github.io）；正文未说明是否发布代码或数据。FATS 构建于 RLinf 框架之上。

摘要

部署过程中产生的经验为机器人提供了一个机会，可以通过从自身执行中学习来提高策略的可靠性。然而，通过人工纠正进行学习需要遥操作员监控执行并在策略失败时进行干预，而随着机器人机队的扩大，这一要求很难满足。我们提出集体经验学习（collective experience learning，CEL），这是一种已部署的机器人共享其执行经验以改进共同策略的学习范式。我们通过失败引导的经验检索微调（failure-guided experience retrieval fine-tuning，FERT）来实现 CEL：它利用机器人执行中的失败上下文，从机队共享的成功经验中检索相关的轨迹片段，并将这些片段的动作作为策略更新的监督信号，而无需收集额外的专家演示或纠正动作。一个容错异步训练系统（fault-tolerant asynchronous training system，FATS）在机器人机队内部出现局部中断的情况下，仍能协调经验收集、策略优化和策略分发。在五项真实世界操作任务中，所得策略的成功率达到 93.3-99.2%，每项任务在未参与训练数据收集的机器人上进行 120 次试验评估。在每台机器人的收集时间保持固定的情况下，更大的机队提供更多经验，FERT 在所评估的各个规模上总体都取得了更高的成功率。在多阶段手机包装任务上，用 96 台机器人进行学习使成功率从 79.2% 提高到 98.3%。这些结果支持把集体经验作为可扩展机器人学习的实用基础，以及一条无需收集额外专家纠正动作、即可在部署期间提高策略可靠性的路径。

链接

arXiv 2610.25736: https://arxiv.org/abs/2610.25736
PDF: https://arxiv.org/pdf/2610.25736v1
项目主页: https://cel-robot-learning.github.io/