Learning from Fleet Experience: A Collective Learning Paradigm for Robots

Autores: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Los robots desplegados comparten sus ejecuciones exitosas y los fallos deciden con cuáles se vuelve a entrenar. Con hasta 96 robots AgiBot G2 y sin nuevas acciones de expertos, cinco tareas alcanzan un 93,3–99,2 % de éxito.

Por qué importa

Tras la inicialización, la única intervención humana durante FERT es una etiqueta binaria de éxito por episodio y los reinicios del entorno; las acciones usadas para aprender proceden de los propios robots. Todas las políticas se evaluaron en dos robots que no aportaron datos de entrenamiento, por lo que las mejoras indicadas se transfieren entre unidades de robot de la misma plataforma.

Problema

Mejorar la política de un robot desplegado suele requerir teleoperadores que observen la ejecución, detecten los fallos y tomen el control para aportar acciones correctivas. Esa supervisión es difícil de escalar a medida que crece una flota, aunque una flota más grande produce más experiencia de ejecución que podría usarse para aprender.

Solución propuesta

El aprendizaje por experiencia colectiva (CEL) reúne la experiencia de todos los robots desplegados para actualizar una única política compartida. Su algoritmo, FERT, conserva las trayectorias exitosas como objetivos de acción y usa los aproximadamente tres segundos previos a cada fallo como consulta, emparejada mediante alineamiento temporal dinámico de subsecuencias con restricción de pendiente sobre características visuales congeladas más el estado articular, para aumentar la prioridad de muestreo de los segmentos exitosos relacionados durante el ajuste fino de π0 con flow matching. El sistema de entrenamiento asíncrono tolerante a fallos (FATS), con un plano de datos SwarmLink y un plano de control HotSwarm, mantiene en marcha la recogida, la inferencia en la nube y el entrenamiento mientras robots individuales fallan y se reinician en su sitio.

Ideas clave

• Las ejecuciones fallidas son útiles como consultas de recuperación aunque sus acciones nunca se imiten: quitar la recuperación guiada por fallos redujo el éxito en Phone Packaging (16 robots) del 86,7 % al 64,2 %.
• Con el tiempo de recogida por robot fijo, el éxito de FERT aumentó en general con el tamaño de la flota, mientras que HG-DAgger, con control humano, se saturó (Phone Charging, Phone Packaging) o empeoró (Stool Assembly) al crecer las flotas; con 8 robots, FERT podía quedar por debajo de su política inicial.
• Ampliar cada segmento recuperado 30 fotogramas por cada lado es importante: sin la ampliación, el éxito bajó del 86,7 % al 57,5 %.
• La recuperación local de fallos mantiene productiva la flota: 30 incidencias en 22 de los 96 robots restaron 8,3 de 660 horas-robot (1,3 %), y tras una incidencia mediana la flota completó el 99 % de los episodios que completaba antes.
• En una reproducción de trazas, las rondas de recogida síncronas habrían reunido solo el 33 % de los episodios de la ejecución, porque cada ronda espera al episodio o a la pausa del robot más lento.

Resultados principales

• El éxito medio en cinco tareas subió del 36,3 % (SFT) al 81,0 % (HG-DAgger multirrobot) y al 97,3 % (FERT), una reducción relativa del 86,0 % en la tasa de fallos; 120 ensayos por tarea en robots reservados.
• Phone Packaging con 96 robots: 79,2 % → 98,3 %; Phone Charging: 60,0 % → 97,5 % (reducción relativa de fallos del 93,8 %).
• FERT superó a RLT y a RECAP en las cinco tareas por 12,3 y 11,5 puntos porcentuales de media, y superó a seis teleoperadores humanos por 16,7 puntos de media.
• El éxito en Phone Packaging creció del 86,7 % con 16 robots de entrenamiento al 98,3 % con 96.
• La ejecución con 96 robots recogió 9834 episodios; fuera de la pausa del almuerzo, unos 65 robots ejecutaban a la vez y la flota completaba 24 episodios por minuto; los robots se reanudaron una mediana de 12 s después de que terminara una incidencia.
• Sobre el enlace borde-nube de 30 Gbps, el 95,18 % de las transferencias de observaciones terminaron en menos de 20 ms y el 83,15 % de las respuestas con chunks de acciones tardaron 200–250 ms.

Limitaciones

• Los autores afirman que el estudio evalúa políticas específicas de cada tarea en cinco tareas con una única plataforma robótica; conjuntos de tareas más amplios, plataformas robóticas heterogéneas y la adaptación durante periodos más largos se dejan para trabajo futuro.
• Las personas siguen etiquetando el resultado de cada episodio y reiniciando los entornos; se menciona un modelo de recompensa aprendido como opción, pero no se usa.
• FERT parte de una política ya entrenada con demostraciones de expertos (SFT) e intervenciones humanas (HG-DAgger multirrobot).
• Con flotas pequeñas, FERT puede terminar por debajo de su política inicial, por ejemplo con 8 robots en Stool Assembly y Phone Packaging.
• La garantía de mejora local (teorema 1) solo se cumple bajo los supuestos indicados de reproducción y de alineación de la recuperación y con un tamaño de paso suficientemente pequeño.

Impacto en el campo

En Hugging Face daily papers obtuvo 112 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El artículo ofrece una página del proyecto (cel-robot-learning.github.io); su texto no indica que se publiquen código ni datos. FATS está construido sobre el marco RLinf.

Resumen

La experiencia generada durante el despliegue ofrece a los robots la oportunidad de mejorar la fiabilidad de su política aprendiendo de sus propias ejecuciones. Sin embargo, el aprendizaje mediante correcciones humanas requiere teleoperadores que supervisen la ejecución e intervengan cuando las políticas fallan, una exigencia difícil de satisfacer a medida que crecen las flotas de robots. Presentamos el aprendizaje por experiencia colectiva (CEL), un paradigma de aprendizaje en el que los robots desplegados comparten su experiencia de ejecución para mejorar una política común. Llevamos a cabo CEL mediante el ajuste fino con recuperación de experiencia guiada por fallos (FERT), que usa los contextos de fallo de las ejecuciones de los robots para recuperar segmentos de trayectoria relevantes de la experiencia exitosa compartida de la flota y usa sus acciones como supervisión para las actualizaciones de la política, sin recoger demostraciones de expertos ni acciones correctivas adicionales. Un sistema de entrenamiento asíncrono tolerante a fallos (FATS) coordina la recogida de experiencia, la optimización de la política y la distribución de la política a pesar de las interrupciones locales dentro de la flota de robots. En cinco tareas de manipulación del mundo real, las políticas resultantes alcanzan tasas de éxito del 93,3-99,2 %, evaluadas en 120 ensayos por tarea en robots excluidos de la recogida de datos de entrenamiento. Con el tiempo de recogida por robot fijo, las flotas más grandes aportan más experiencia y FERT logra en general tasas de éxito más altas en todos los tamaños evaluados. En el empaquetado de teléfonos de varias etapas, aprender con 96 robots aumenta el éxito del 79,2 % al 98,3 %. Estos resultados respaldan la experiencia colectiva como base práctica para un aprendizaje robótico escalable y como vía para mejorar la fiabilidad de la política durante el despliegue sin recoger acciones correctivas adicionales de expertos.

Enlaces

• arXiv 2610.25736: https://arxiv.org/abs/2610.25736
• PDF: https://arxiv.org/pdf/2610.25736v1
• Página del proyecto: https://cel-robot-learning.github.io/