Learning from Fleet Experience: A Collective Learning Paradigm for Robots

Autoren: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eingesetzte Roboter teilen erfolgreiche Durchläufe, und Fehlschläge bestimmen, auf welchen davon neu trainiert wird. Mit bis zu 96 AgiBot-G2-Robotern und ohne neue Expertenaktionen erreichen fünf Aufgaben 93,3–99,2 % Erfolg.

Warum es wichtig ist

Nach der Initialisierung besteht die einzige menschliche Eingabe während FERT aus einem binären Erfolgslabel pro Episode und dem Zurücksetzen der Umgebung; die zum Lernen verwendeten Aktionen stammen von den Robotern selbst. Alle Policies wurden auf zwei Robotern evaluiert, die keine Trainingsdaten beigetragen hatten, sodass die berichteten Gewinne sich über Roboterexemplare derselben Plattform hinweg übertragen.

Problem

Die Verbesserung einer eingesetzten Roboter-Policy erfordert meist Teleoperatoren, die die Ausführung beobachten, Fehler erkennen und übernehmen, um korrigierende Aktionen zu liefern. Diese Aufsicht lässt sich mit wachsender Flotte schwer skalieren, obwohl eine größere Flotte mehr Ausführungserfahrung erzeugt, die zum Lernen genutzt werden könnte.

Lösungsansatz

Collective Experience Learning (CEL) bündelt die Erfahrung aller eingesetzten Roboter, um eine gemeinsame Policy zu aktualisieren. Sein Algorithmus FERT behält erfolgreiche Trajektorien als Aktionsziele und verwendet die etwa drei Sekunden vor jedem Fehlschlag als Abfrage, die per steigungsbeschränktem Subsequenz-Dynamic-Time-Warping auf eingefrorenen visuellen Merkmalen plus Gelenkzustand abgeglichen wird, um während des Flow-Matching-Fine-Tunings von π0 die Sampling-Priorität verwandter erfolgreicher Segmente zu erhöhen. Das fehlertolerante asynchrone Trainingssystem (FATS) mit einer SwarmLink-Datenebene und einer HotSwarm-Steuerebene hält Sammlung, Cloud-Inferenz und Training am Laufen, während einzelne Roboter ausfallen und an Ort und Stelle neu gestartet werden.

Wichtigste Erkenntnisse

Fehlgeschlagene Durchläufe sind als Abfragen für das Retrieval nützlich, obwohl ihre Aktionen nie imitiert werden: Das Entfernen des fehlergeleiteten Retrievals senkte den Erfolg bei Phone Packaging (16 Roboter) von 86,7 % auf 64,2 %.
Bei fester Sammelzeit pro Roboter stieg der Erfolg von FERT im Allgemeinen mit der Flottengröße, während das menschlich gesteuerte HG-DAgger mit wachsenden Flotten sättigte (Phone Charging, Phone Packaging) oder abnahm (Stool Assembly); bei 8 Robotern konnte FERT unter seine Ausgangs-Policy fallen.
Jedes abgerufene Segment auf jeder Seite um 30 Frames zu verlängern, ist wichtig: Ohne die Verlängerung fiel der Erfolg von 86,7 % auf 57,5 %.
Lokale Fehlerbehebung hält die Flotte produktiv: 30 Störungsvorfälle an 22 von 96 Robotern kosteten 8,3 von 660 Roboterstunden (1,3 %), und nach einem medianen Störungsereignis absolvierte die Flotte 99 % so viele Episoden wie davor.
In einer Trace-Wiedergabe hätten synchrone Sammelrunden nur 33 % der Episoden des Laufs erfasst, weil jede Runde auf die Episode oder Pause des langsamsten Roboters wartet.

Hauptergebnisse

Der mittlere Erfolg über fünf Aufgaben stieg von 36,3 % (SFT) über 81,0 % (Multi-Roboter-HG-DAgger) auf 97,3 % (FERT), eine relative Verringerung der Fehlerrate um 86,0 %; 120 Durchgänge pro Aufgabe auf zurückgehaltenen Robotern.
Phone Packaging mit 96 Robotern: 79,2 % → 98,3 %; Phone Charging: 60,0 % → 97,5 % (93,8 % relative Fehlerreduktion).
FERT schlug RLT und RECAP bei allen fünf Aufgaben im Mittel um 12,3 bzw. 11,5 Prozentpunkte und übertraf sechs menschliche Teleoperatoren im Mittel um 16,7 Punkte.
Der Erfolg bei Phone Packaging wuchs von 86,7 % mit 16 Trainingsrobotern auf 98,3 % mit 96.
Der Lauf mit 96 Robotern sammelte 9.834 Episoden; außerhalb der Mittagspause arbeiteten etwa 65 Roboter gleichzeitig, und die Flotte absolvierte 24 Episoden pro Minute; Roboter nahmen die Arbeit im Median 12 s nach dem Ende eines Vorfalls wieder auf.
Über die Edge-Cloud-Verbindung mit 30 Gbps wurden 95,18 % der Beobachtungsübertragungen innerhalb von 20 ms abgeschlossen, und 83,15 % der Antworten mit Action Chunks dauerten 200–250 ms.

Einschränkungen

Die Autoren geben an, dass die Studie aufgabenspezifische Policies für fünf Aufgaben auf einer einzigen Roboterplattform evaluiert; breitere Aufgabensätze, heterogene Roboterplattformen und Anpassung über längere Zeiträume bleiben künftiger Arbeit überlassen.
Menschen labeln weiterhin das Ergebnis jeder Episode und setzen Umgebungen zurück; ein gelerntes Belohnungsmodell wird als Option erwähnt, aber nicht verwendet.
FERT startet von einer Policy, die bereits mit Expertendemonstrationen (SFT) und menschlichen Eingriffen (Multi-Roboter-HG-DAgger) trainiert wurde.
Bei kleinen Flottengrößen kann FERT unterhalb seiner Anfangs-Policy enden, etwa mit 8 Robotern bei Stool Assembly und Phone Packaging.
Die lokale Verbesserungsgarantie (Theorem 1) gilt nur unter den angegebenen Annahmen zu Replay und Retrieval-Ausrichtung und bei hinreichend kleiner Schrittweite.

Wirkung auf das Fachgebiet

Bei Hugging Face Daily Papers erhielt die Arbeit 112 Upvotes und lag damit unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Die Arbeit nennt eine Projektseite (cel-robot-learning.github.io); ihr Text gibt keine Veröffentlichung von Code oder Daten an. FATS baut auf dem Framework RLinf auf.

Zusammenfassung

Während des Einsatzes erzeugte Erfahrung bietet Robotern die Gelegenheit, die Zuverlässigkeit ihrer Policy zu verbessern, indem sie aus ihren eigenen Ausführungen lernen. Lernen durch menschliche Korrekturen erfordert jedoch Teleoperatoren, die die Ausführung überwachen und eingreifen, wenn Policies scheitern, eine Anforderung, die mit wachsenden Roboterflotten schwer zu erfüllen ist. Wir führen Collective Experience Learning (CEL) ein, ein Lernparadigma, bei dem eingesetzte Roboter ihre Ausführungserfahrung teilen, um eine gemeinsame Policy zu verbessern. Wir realisieren CEL durch Failure-guided Experience Retrieval Fine-Tuning (FERT), das Fehlerkontexte aus Roboterausführungen nutzt, um relevante Trajektoriensegmente aus der gemeinsamen erfolgreichen Erfahrung der Flotte abzurufen, und deren Aktionen als Supervision für Policy-Updates verwendet, ohne zusätzliche Expertendemonstrationen oder korrigierende Aktionen zu sammeln. Ein fehlertolerantes asynchrones Trainingssystem (FATS) koordiniert Erfahrungssammlung, Policy-Optimierung und Policy-Verteilung trotz lokaler Unterbrechungen innerhalb der Roboterflotte. Über fünf reale Manipulationsaufgaben erreichen die resultierenden Policies Erfolgsraten von 93,3-99,2 %, evaluiert über 120 Durchgänge pro Aufgabe auf Robotern, die von der Sammlung der Trainingsdaten ausgeschlossen waren. Bei fester Sammelzeit pro Roboter liefern größere Flotten mehr Erfahrung, und FERT erreicht über die evaluierten Größen hinweg im Allgemeinen höhere Erfolgsraten. Beim mehrstufigen Verpacken von Telefonen erhöht das Lernen mit 96 Robotern den Erfolg von 79,2 % auf 98,3 %. Diese Ergebnisse stützen kollektive Erfahrung als praktische Grundlage für skalierbares Roboterlernen und als Weg, die Zuverlässigkeit von Policies während des Einsatzes zu verbessern, ohne zusätzliche korrigierende Expertenaktionen zu sammeln.

Open Source Robotics