Learning from Fleet Experience: A Collective Learning Paradigm for Robots

Autores: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Robôs implantados compartilham execuções bem-sucedidas, e as falhas decidem com quais delas retreinar. Com até 96 robôs AgiBot G2 e sem novas ações de especialistas, cinco tarefas chegam a 93,3–99,2% de sucesso.

Por que importa

Após a inicialização, a única entrada humana durante o FERT é um rótulo binário de sucesso por episódio e as reinicializações do ambiente; as ações usadas para aprender vêm dos próprios robôs. Todas as políticas foram avaliadas em dois robôs que não contribuíram com dados de treinamento, de modo que os ganhos relatados se transferem entre unidades de robô da mesma plataforma.

Problema

Melhorar a política de um robô implantado costuma exigir teleoperadores que observem a execução, identifiquem falhas e assumam o controle para fornecer ações corretivas. Essa supervisão é difícil de escalar à medida que a frota cresce, embora uma frota maior produza mais experiência de execução que poderia ser usada para aprender.

Solução proposta

O aprendizado por experiência coletiva (CEL) reúne a experiência de todos os robôs implantados para atualizar uma única política compartilhada. Seu algoritmo, o FERT, mantém as trajetórias bem-sucedidas como alvos de ação e usa os cerca de três segundos antes de cada falha como consulta, pareada por alinhamento temporal dinâmico de subsequências com restrição de inclinação sobre características visuais congeladas mais o estado das juntas, para aumentar a prioridade de amostragem de segmentos bem-sucedidos relacionados durante o ajuste fino do π0 com flow matching. O sistema de treinamento assíncrono tolerante a falhas (FATS), com um plano de dados SwarmLink e um plano de controle HotSwarm, mantém a coleta, a inferência na nuvem e o treinamento em funcionamento enquanto robôs individuais falham e são reiniciados no local.

Principais ideias

Execuções com falha são úteis como consultas de recuperação mesmo que suas ações nunca sejam imitadas: remover a recuperação guiada por falhas reduziu o sucesso no Phone Packaging (16 robôs) de 86,7% para 64,2%.
Com o tempo de coleta por robô fixo, o sucesso do FERT em geral aumentou com o tamanho da frota, enquanto o HG-DAgger, com controle humano, saturou (Phone Charging, Phone Packaging) ou piorou (Stool Assembly) à medida que as frotas cresciam; com 8 robôs, o FERT podia ficar abaixo de sua política inicial.
Estender cada segmento recuperado em 30 quadros de cada lado faz diferença: sem a extensão, o sucesso caiu de 86,7% para 57,5%.
A recuperação local de falhas mantém a frota produtiva: 30 incidentes em 22 dos 96 robôs tiraram 8,3 de 660 horas-robô (1,3%), e após um evento de falha mediano a frota concluiu 99% dos episódios que concluía antes.
Em uma reprodução de traços, rodadas de coleta síncronas teriam reunido apenas 33% dos episódios da execução, porque cada rodada espera o episódio ou a pausa do robô mais lento.

Principais resultados

O sucesso médio em cinco tarefas subiu de 36,3% (SFT) para 81,0% (HG-DAgger multirrobô) e para 97,3% (FERT), uma redução relativa de 86,0% na taxa de falhas; 120 tentativas por tarefa em robôs reservados.
Phone Packaging com 96 robôs: 79,2% → 98,3%; Phone Charging: 60,0% → 97,5% (redução relativa de falhas de 93,8%).
O FERT superou o RLT e o RECAP nas cinco tarefas por 12,3 e 11,5 pontos percentuais em média, e superou seis teleoperadores humanos por 16,7 pontos em média.
O sucesso no Phone Packaging cresceu de 86,7% com 16 robôs de treinamento para 98,3% com 96.
A execução com 96 robôs coletou 9.834 episódios; fora do intervalo de almoço, cerca de 65 robôs executavam ao mesmo tempo e a frota concluía 24 episódios por minuto; os robôs retomaram uma mediana de 12 s depois do fim de um incidente.
No link borda-nuvem de 30 Gbps, 95,18% das transferências de observações terminaram em até 20 ms e 83,15% das respostas com chunks de ações levaram 200–250 ms.

Limitações

Os autores afirmam que o estudo avalia políticas específicas de tarefa em cinco tarefas usando uma única plataforma robótica; conjuntos de tarefas mais amplos, plataformas robóticas heterogêneas e adaptação ao longo de períodos mais longos ficam para trabalhos futuros.
Pessoas ainda rotulam o resultado de cada episódio e reiniciam os ambientes; um modelo de recompensa aprendido é mencionado como opção, mas não é usado.
O FERT parte de uma política já treinada com demonstrações de especialistas (SFT) e intervenções humanas (HG-DAgger multirrobô).
Com frotas pequenas, o FERT pode terminar abaixo de sua política inicial, por exemplo com 8 robôs no Stool Assembly e no Phone Packaging.
A garantia de melhoria local (Teorema 1) vale apenas sob as hipóteses declaradas de replay e de alinhamento da recuperação e com um tamanho de passo suficientemente pequeno.

Impacto na área

No Hugging Face daily papers, recebeu 112 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O artigo indica uma página do projeto (cel-robot-learning.github.io); seu texto não informa a publicação de código ou dados. O FATS é construído sobre o arcabouço RLinf.

Resumo

A experiência gerada durante a implantação oferece aos robôs uma oportunidade de melhorar a confiabilidade da política aprendendo com suas próprias execuções. No entanto, aprender por meio de correções humanas exige teleoperadores que monitorem a execução e intervenham quando as políticas falham, uma demanda difícil de atender à medida que as frotas de robôs crescem. Apresentamos o aprendizado por experiência coletiva (CEL), um paradigma de aprendizado em que robôs implantados compartilham sua experiência de execução para melhorar uma política comum. Realizamos o CEL por meio do ajuste fino com recuperação de experiência guiada por falhas (FERT), que usa contextos de falha das execuções dos robôs para recuperar segmentos de trajetória relevantes da experiência bem-sucedida compartilhada da frota e usa suas ações como supervisão para as atualizações da política, sem coletar demonstrações de especialistas nem ações corretivas adicionais. Um sistema de treinamento assíncrono tolerante a falhas (FATS) coordena a coleta de experiência, a otimização da política e a distribuição da política apesar de interrupções locais dentro da frota de robôs. Em cinco tarefas de manipulação do mundo real, as políticas resultantes atingem taxas de sucesso de 93,3-99,2%, avaliadas em 120 tentativas por tarefa em robôs excluídos da coleta de dados de treinamento. Com o tempo de coleta por robô fixo, frotas maiores fornecem mais experiência e o FERT em geral atinge taxas de sucesso mais altas em todos os tamanhos avaliados. Na embalagem de celulares em várias etapas, aprender com 96 robôs aumenta o sucesso de 79,2% para 98,3%. Esses resultados sustentam a experiência coletiva como uma base prática para o aprendizado robótico escalável e um caminho para melhorar a confiabilidade da política durante a implantação sem coletar ações corretivas adicionais de especialistas.

Open Source Robotics