Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Learning from Fleet Experience: A Collective Learning Paradigm for Robots

著者: Chao Yu, Shu’ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang · arXiv 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

展開されたロボットが成功した実行を共有し、どれで再訓練するかを失敗が決める。最大 96 台の AgiBot G2 ロボットで、新たな専門家の行動なしに、5 つのタスクが 93.3–99.2% の成功率に達する。

重要な理由

初期化後、FERT 中の人による入力はエピソードごとの成功・失敗の二値ラベルと環境のリセットだけであり、学習に使う行動はロボット自身から得られる。すべての方策は訓練データを提供していない 2 台のロボットで評価されたため、報告された改善は同じプラットフォームの別の個体にも転移する。

課題

展開済みのロボット方策を改善するには、通常、テレオペレーターが実行を見守り、失敗を見つけて操作を引き継ぎ、修正行動を与える必要がある。フリートが大きいほど学習に使える実行経験は増えるにもかかわらず、こうした監督はフリートの拡大に合わせてスケールさせるのが難しい。

提案手法

集合的経験学習（CEL）は、展開されたすべてのロボットの経験を集めて 1 つの共有方策を更新する。そのアルゴリズム FERT は、成功した軌道を行動の目標として保持し、各失敗の直前約 3 秒をクエリとして用いる。凍結した視覚特徴と関節状態に対する傾き制約付きの部分系列動的時間伸縮法で照合し、π0 の flow matching によるファインチューニング中に、関連する成功セグメントのサンプリング優先度を上げる。SwarmLink データプレーンと HotSwarm コントロールプレーンを備えたフォールトトレラントな非同期訓練システム（FATS）は、個々のロボットが故障してその場で再起動される間も、収集、クラウド推論、訓練を動かし続ける。

主な知見

  • 失敗した実行は、その行動が模倣されることは決してないが、検索クエリとして役立つ。失敗誘導型の検索を除くと、Phone Packaging（16 台）の成功率は 86.7% から 64.2% に下がった。
  • ロボット 1 台あたりの収集時間を固定すると、FERT の成功率はフリートの規模とともに概して上がったが、人がゲートする HG-DAgger はフリートが大きくなるにつれて頭打ちになる（Phone Charging、Phone Packaging）か低下した（Stool Assembly）。8 台では FERT は開始時の方策を下回ることがあった。
  • 検索した各セグメントを両側に 30 フレームずつ延長することが重要であり、延長しないと成功率は 86.7% から 57.5% に下がった。
  • 局所的な障害回復によりフリートは生産性を保つ。96 台中 22 台で 30 件の障害が発生し、660 ロボット時間のうち 8.3 時間（1.3%）が失われたが、中央値の障害イベントの後、フリートは障害前の 99% のエピソードを完了した。
  • トレースの再生では、同期的な収集ラウンドを用いた場合、各ラウンドが最も遅いロボットのエピソードや停止を待つため、その実行のエピソードの 33% しか集められなかったことになる。

主な結果

  • 5 タスクの平均成功率は 36.3%（SFT）から 81.0%（複数ロボットの HG-DAgger）、さらに 97.3%（FERT）に上がり、失敗率は相対的に 86.0% 減少した。評価はホールドアウトしたロボットでタスクごとに 120 試行。
  • 96 台での Phone Packaging：79.2% → 98.3%。Phone Charging：60.0% → 97.5%（失敗率は相対的に 93.8% 減少）。
  • FERT は 5 つのタスクすべてで RLT と RECAP を平均でそれぞれ 12.3 ポイント、11.5 ポイント上回り、6 人の人間のテレオペレーターを平均 16.7 ポイント上回った。
  • Phone Packaging の成功率は、訓練用ロボット 16 台での 86.7% から 96 台での 98.3% に伸びた。
  • 96 台での実行では 9,834 エピソードを収集した。昼休み以外は約 65 台が同時に実行し、フリートは毎分 24 エピソードを完了した。ロボットはインシデント終了後、中央値 12 s で再開した。
  • 30 Gbps のエッジ・クラウド間リンクで、観測データの転送の 95.18% が 20 ms 以内に完了し、アクションチャンクの応答の 83.15% は 200–250 ms かかった。

制限事項

  • 著者らは、本研究が単一のロボットプラットフォームで 5 つのタスクのタスク固有方策を評価したものであり、より広いタスク群、異種のロボットプラットフォーム、より長期間にわたる適応は今後の課題であると述べている。
  • 依然として人がすべてのエピソードの結果にラベルを付け、環境をリセットしている。学習による報酬モデルは選択肢として挙げられているが、使われていない。
  • FERT は、専門家のデモンストレーション（SFT）と人の介入（複数ロボットの HG-DAgger）ですでに訓練された方策から出発している。
  • フリートの規模が小さいと、FERT は最終的に初期方策を下回ることがある。たとえば Stool Assembly と Phone Packaging で 8 台の場合である。
  • 局所的な改善の保証（定理 1）は、述べられた再生と検索の整合に関する仮定と、十分に小さいステップサイズのもとでのみ成り立つ。

分野への影響

Hugging Face の daily papers で 112 件の賛成票を集め、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。論文はプロジェクトページ（cel-robot-learning.github.io）を示しているが、本文にはコードやデータの公開についての記載がない。FATS は RLinf フレームワーク上に構築されている。

概要

展開中に生まれる経験は、ロボットが自らの実行から学ぶことで方策の信頼性を高める機会となる。しかし、人による修正を通じた学習では、テレオペレーターが実行を監視し、方策が失敗したときに介入する必要があり、ロボットフリートが大きくなるにつれてこの要求を満たすのは難しくなる。我々は、展開されたロボットが実行経験を共有して共通の方策を改善する学習パラダイム、集合的経験学習（collective experience learning, CEL）を導入する。CEL は、失敗誘導型経験検索ファインチューニング（failure-guided experience retrieval fine-tuning, FERT）によって実現する。FERT は、ロボットの実行における失敗の文脈を用いて、フリートが共有する成功経験から関連する軌道セグメントを検索し、その行動を方策更新の教師信号として用いるもので、追加の専門家デモンストレーションや修正行動は収集しない。フォールトトレラントな非同期訓練システム（fault-tolerant asynchronous training system, FATS）は、ロボットフリート内で局所的な中断があっても、経験の収集、方策の最適化、方策の配布を調整する。5 つの実世界マニピュレーションタスクにおいて、得られた方策は 93.3-99.2% の成功率を達成した。評価は、訓練データの収集から除外したロボットでタスクごとに 120 試行行った。ロボット 1 台あたりの収集時間を固定すると、フリートが大きいほど経験が増え、FERT は評価したどの規模でも概して高い成功率を達成する。複数段階のスマートフォン梱包では、96 台のロボットでの学習により成功率が 79.2% から 98.3% に上がった。これらの結果は、集合的な経験が、スケーラブルなロボット学習の実用的な基盤となり、追加の専門家の修正行動を集めることなく展開中に方策の信頼性を高める道筋となることを裏付けている。

リンク

  • arXiv 2610.25736: https://arxiv.org/abs/2610.25736
  • PDF: https://arxiv.org/pdf/2610.25736v1
  • プロジェクトページ: https://cel-robot-learning.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。