Learning from Fleet Experience: A Collective Learning Paradigm for Robots

저자: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

배치된 로봇이 성공한 실행을 공유하고, 실패가 어떤 실행으로 재학습할지 결정한다. 최대 96대의 AgiBot G2 로봇으로 새로운 전문가 행동 없이 다섯 과제가 93.3–99.2%의 성공률에 도달한다.

중요한 이유

초기화 이후 FERT 동안 사람이 주는 입력은 에피소드당 이진 성공 레이블과 환경 재설정뿐이며, 학습에 쓰이는 행동은 로봇 자신에게서 나온다. 모든 정책은 학습 데이터를 제공하지 않은 로봇 두 대에서 평가되었으므로, 보고된 향상은 같은 플랫폼의 로봇 개체 사이에서 전이된다.

문제

배치된 로봇 정책을 개선하려면 보통 실행을 지켜보고, 실패를 발견하고, 개입하여 교정 행동을 제공하는 원격 조작자가 필요하다. 플릿이 커질수록 이러한 감독은 확장하기 어렵다. 더 큰 플릿은 학습에 쓸 수 있는 실행 경험을 더 많이 만들어 내는데도 그렇다.

제안 방법

집단 경험 학습(CEL)은 배치된 모든 로봇의 경험을 모아 하나의 공유 정책을 업데이트한다. 그 알고리즘인 FERT는 성공한 궤적을 행동 목표로 유지하고, 각 실패 직전 약 3초를 질의로 사용한다. 이 질의는 고정된 시각 특징과 관절 상태 위에서 기울기 제약 부분 시퀀스 동적 시간 워핑으로 매칭되며, π0의 flow matching 미세 조정 동안 관련된 성공 구간의 샘플링 우선순위를 높인다. SwarmLink 데이터 플레인과 HotSwarm 컨트롤 플레인을 갖춘 내결함성 비동기 학습 시스템(FATS)은 개별 로봇이 고장 나고 그 자리에서 재시작되는 동안에도 수집, 클라우드 추론, 학습을 계속 실행한다.

핵심 통찰

실패한 실행은 그 행동을 모방하지 않더라도 검색 질의로서 유용하다. 실패 유도 검색을 제거하자 Phone Packaging 성공률(로봇 16대)이 86.7%에서 64.2%로 떨어졌다.
로봇당 수집 시간을 고정했을 때 FERT 성공률은 대체로 플릿 규모에 따라 올랐지만, 사람이 개입 여부를 결정하는 HG-DAgger는 플릿이 커질수록 포화하거나(Phone Charging, Phone Packaging) 떨어졌다(Stool Assembly). 로봇 8대에서는 FERT가 시작 정책보다 낮아질 수 있었다.
검색된 각 구간을 양쪽으로 30프레임씩 늘리는 것이 중요하다. 이 확장이 없으면 성공률이 86.7%에서 57.5%로 떨어졌다.
국소적 결함 복구가 플릿의 생산성을 유지한다. 로봇 96대 중 22대에서 발생한 결함 사고 30건으로 660 로봇-시간 중 8.3시간(1.3%)이 빠졌으며, 중앙값 수준의 결함 사건 이후 플릿은 사건 이전 대비 99%의 에피소드를 완료했다.
추적 재생에서 동기식 수집 라운드였다면 실행 에피소드의 33%만 모았을 것이다. 매 라운드가 가장 느린 로봇의 에피소드나 일시 정지를 기다리기 때문이다.

주요 결과

다섯 과제의 평균 성공률은 36.3%(SFT)에서 81.0%(다중 로봇 HG-DAgger), 97.3%(FERT)로 올랐으며, 이는 실패율의 상대적 86.0% 감소다. 보류 로봇에서 과제당 120회 시행.
로봇 96대의 Phone Packaging: 79.2% → 98.3%. Phone Charging: 60.0% → 97.5%(상대적 실패 감소 93.8%).
FERT는 다섯 과제 모두에서 RLT와 RECAP을 평균 12.3 및 11.5 퍼센트포인트 앞섰고, 사람 원격 조작자 6명보다 평균 16.7포인트 높았다.
Phone Packaging 성공률은 학습 로봇 16대에서 86.7%, 96대에서 98.3%로 늘었다.
96대 로봇 실행에서 에피소드 9,834개를 수집했다. 점심시간을 제외하면 약 65대의 로봇이 동시에 실행했고, 플릿은 분당 24 에피소드를 완료했으며, 로봇은 사고가 끝난 뒤 중앙값 12 s 만에 재개했다.
30 Gbps 엣지-클라우드 링크에서 관측 전송의 95.18%가 20 ms 이내에 끝났고, 행동 청크 응답의 83.15%는 200–250 ms가 걸렸다.

한계

저자들은 연구가 단일 로봇 플랫폼으로 다섯 과제의 과제 특화 정책을 평가하며, 더 넓은 과제 집합, 이질적인 로봇 플랫폼, 더 긴 기간에 걸친 적응은 향후 과제로 남긴다고 밝힌다.
모든 에피소드의 결과 레이블링과 환경 재설정은 여전히 사람이 한다. 학습된 보상 모델은 선택지로 언급되지만 사용되지 않았다.
FERT는 이미 전문가 시연(SFT)과 사람 개입(다중 로봇 HG-DAgger)으로 학습한 정책에서 시작한다.
플릿 규모가 작으면 FERT가 초기 정책보다 낮게 끝날 수 있다. 예를 들어 Stool Assembly와 Phone Packaging에서 로봇 8대일 때다.
국소 개선 보장(Theorem 1)은 명시된 재생 및 검색 정렬 가정과 충분히 작은 스텝 크기 아래에서만 성립한다.

분야에 미친 영향

Hugging Face daily papers에서 추천 112개를 받아, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%에 들었다. 논문은 프로젝트 페이지(cel-robot-learning.github.io)를 제시하지만, 본문에서 코드나 데이터 공개는 명시하지 않는다. FATS는 RLinf 프레임워크 위에 구축되었다.

초록

배치 중에 생성되는 경험은 로봇이 자신의 실행으로부터 학습하여 정책 신뢰성을 높일 기회를 제공한다. 그러나 사람의 교정을 통한 학습에는 원격 조작자가 실행을 감시하다가 정책이 실패할 때 개입해야 하며, 이는 로봇 플릿이 커질수록 충족하기 어렵다. 우리는 배치된 로봇들이 실행 경험을 공유하여 공통 정책을 개선하는 학습 패러다임인 집단 경험 학습(CEL)을 소개한다. 우리는 실패 유도 경험 검색 미세 조정(FERT)을 통해 CEL을 구현한다. FERT는 로봇 실행의 실패 맥락을 사용해 플릿의 공유된 성공 경험에서 관련 궤적 구간을 검색하고, 그 행동을 정책 업데이트의 지도 신호로 사용하며, 추가 전문가 시연이나 교정 행동을 수집하지 않는다. 내결함성 비동기 학습 시스템(FATS)은 로봇 플릿 내부의 국소적인 중단에도 불구하고 경험 수집, 정책 최적화, 정책 배포를 조율한다. 다섯 가지 실제 조작 과제에서 결과 정책은 학습 데이터 수집에서 제외된 로봇에서 과제당 120회 시행으로 평가했을 때 93.3-99.2%의 성공률을 달성한다. 로봇당 수집 시간을 고정하면 플릿이 클수록 더 많은 경험을 제공하며, FERT는 평가한 규모 전반에서 대체로 더 높은 성공률을 달성한다. 다단계 휴대폰 포장에서 로봇 96대로 학습하면 성공률이 79.2%에서 98.3%로 오른다. 이러한 결과는 집단 경험이 확장 가능한 로봇 학습의 실용적인 기반이자, 추가 전문가 교정 행동을 수집하지 않고도 배치 중 정책 신뢰성을 높이는 길임을 뒷받침한다.

링크

arXiv 2610.25736: https://arxiv.org/abs/2610.25736
PDF: https://arxiv.org/pdf/2610.25736v1
프로젝트 페이지: https://cel-robot-learning.github.io/