Learning from Fleet Experience: A Collective Learning Paradigm for Robots

作者: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

已部署的機器人分享成功的執行紀錄，並由失敗決定要以哪些紀錄重新訓練。藉由最多 96 台 AgiBot G2 機器人、且沒有新的專家動作，五項任務達到 93.3–99.2% 的成功率。

為何重要

初始化之後，FERT 期間唯一的人為輸入是每個回合的二元成功標籤與環境重置；用於學習的動作都來自機器人本身。所有策略都在兩台未貢獻任何訓練資料的機器人上評估，因此報告的提升能在同一平台的不同機器人個體之間轉移。

問題

改善已部署的機器人策略，通常需要遠端操作員觀看執行、發現失敗並接手提供修正動作。隨著車隊擴大，這種監督很難擴展，即使較大的車隊會產生更多可用於學習的執行經驗。

提出的方法

集體經驗學習（CEL）匯集所有已部署機器人的經驗，以更新一個共享策略。其演算法 FERT 將成功軌跡保留為動作目標，並以每次失敗前大約三秒作為查詢，透過在凍結的視覺特徵加上關節狀態上進行斜率受限的子序列動態時間校正來比對，從而在對 π0 進行 flow matching 微調時，提高相關成功片段的取樣優先度。容錯非同步訓練系統（FATS）具備 SwarmLink 資料平面與 HotSwarm 控制平面，在個別機器人故障並就地重新啟動時，仍能讓蒐集、雲端推論與訓練持續運作。

關鍵見解

失敗的執行雖然其動作從不被模仿，但能作為檢索查詢發揮作用：移除失敗引導的檢索後，Phone Packaging（16 台機器人）的成功率從 86.7% 降到 64.2%。
在每台機器人蒐集時間固定的情況下，FERT 的成功率大致隨車隊規模增加而上升，而需要人為把關的 HG-DAgger 隨著車隊擴大而趨於飽和（Phone Charging、Phone Packaging）或下降（Stool Assembly）；在 8 台機器人時，FERT 可能低於其起始策略。
將每個檢索到的片段兩側各延長 30 幀很重要：沒有延長時，成功率從 86.7% 降到 57.5%。
局部故障恢復讓車隊維持生產力：96 台機器人中有 22 台發生 30 次故障事件，損失了 660 機器人小時中的 8.3 小時（1.3%），而在一次中位數的故障事件之後，車隊完成的回合數達到故障前的 99%。
在一次軌跡重播中，同步蒐集輪次只能蒐集到該次執行回合數的 33%，因為每一輪都要等待最慢那台機器人的回合或暫停。

主要結果

五項任務的平均成功率從 36.3%（SFT）提升到 81.0%（多機器人 HG-DAgger），再到 97.3%（FERT），失敗率相對降低 86.0%；每項任務在保留的機器人上進行 120 次試驗。
96 台機器人的 Phone Packaging：79.2% → 98.3%；Phone Charging：60.0% → 97.5%（失敗率相對降低 93.8%）。
FERT 在全部五項任務上勝過 RLT 與 RECAP，平均分別高出 12.3 與 11.5 個百分點，並平均超過六名人類遠端操作員 16.7 個百分點。
Phone Packaging 成功率從 16 台訓練機器人時的 86.7% 成長到 96 台時的 98.3%。
96 台機器人的執行共蒐集 9,834 個回合；午休時間以外約有 65 台機器人同時執行，車隊每分鐘完成 24 個回合；事件結束後，機器人恢復運作的中位時間為 12 s。
在 30 Gbps 的邊緣-雲端連線上，95.18% 的觀測傳輸在 20 ms 內完成，83.15% 的動作區塊回覆耗時 200–250 ms。

限制

作者表示，此研究在單一機器人平台上評估五項任務的特定任務策略；更廣泛的任務集合、異質機器人平台以及更長期的調適留待未來工作。
仍需由人標註每個回合的結果並重置環境；學習式獎勵模型被提及為一種選項，但並未使用。
FERT 從一個已經以專家示範（SFT）與人為介入（多機器人 HG-DAgger）訓練過的策略開始。
車隊規模小時，FERT 最後可能低於其初始策略，例如在 Stool Assembly 與 Phone Packaging 上使用 8 台機器人時。
局部改善保證（定理 1）只在所述的重播與檢索對齊假設，以及足夠小的步長下成立。

對領域的影響

在 Hugging Face 每日論文上獲得 112 個讚，名列該平台過去六個月機器人論文的前 5%。論文提供專案頁面（cel-robot-learning.github.io）；正文未說明是否釋出程式碼或資料。FATS 建立在 RLinf 框架之上。

摘要

部署期間產生的經驗，讓機器人有機會從自身的執行中學習，以提升策略的可靠度。然而，透過人為修正來學習，需要遠端操作員監看執行並在策略失敗時介入，而隨著機器人車隊擴大，這項要求很難滿足。我們提出集體經驗學習（collective experience learning，CEL），一種讓已部署的機器人分享其執行經驗以改善共同策略的學習範式。我們以失敗引導的經驗檢索微調（failure-guided experience retrieval fine-tuning，FERT）實現 CEL：它利用機器人執行中的失敗情境，從車隊共享的成功經驗中檢索相關的軌跡片段，並以這些片段的動作作為策略更新的監督，而不需蒐集額外的專家示範或修正動作。一個容錯非同步訓練系統（fault-tolerant asynchronous training system，FATS）即使在機器人車隊內部發生局部中斷時，仍能協調經驗蒐集、策略最佳化與策略分發。在五項真實世界操作任務中，所得策略的成功率達到 93.3-99.2%，每項任務在未參與訓練資料蒐集的機器人上進行 120 次試驗評估。在每台機器人的蒐集時間固定的情況下，越大的車隊提供越多經驗，而 FERT 在所評估的各種規模下大致都達到更高的成功率。在多階段手機包裝任務上，以 96 台機器人學習使成功率從 79.2% 提升到 98.3%。這些結果支持將集體經驗作為可擴展機器人學習的實用基礎，以及一條不需蒐集額外專家修正動作、就能在部署期間提升策略可靠度的途徑。

連結

arXiv 2610.25736: https://arxiv.org/abs/2610.25736
PDF: https://arxiv.org/pdf/2610.25736v1
專案頁面: https://cel-robot-learning.github.io/