Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

LocoFormer: Generalist Locomotion via Long-context Adaptation

著者: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

LocoFormer は、約 100k 台のプロシージャル生成ロボット上で長コンテキストの Transformer-XL ポリシーを RL で 1 つ学習する。未見のロボットをゼロショットで制御し、試行を重ねるごとに改善する。

重要な理由

コンテキスト内で適応する単一のモデルは、ロボットごとの調整やシステム同定を不要にし、損傷したロボットを動かし続けられる可能性がある。実機テストでは、同じ重みが再学習なしで Unitree G1、H1、Go2、Go2-W を動かし、Go2 を後ろ脚 2 本だけで歩かせることもできた。

課題

ロコモーション制御器は通常、狭いドメインランダム化と数百ミリ秒分の履歴だけを用いて 1 台のロボット向けに学習される。こうしたポリシーは新しい身体には転移せず、モーターの焼損や脚の破損といった大きな変化の下では機能しなくなり、ロボットごとに手間のかかるシステム同定を必要とすることが多い。

提案手法

著者は、車輪あり・なしの二足および四足ロボットをプロシージャルに生成し、その運動学とダイナミクスを積極的にランダム化し、観測と行動に共通の統一関節空間を用いてシミュレーション内で PPO により学習する。ポリシーは Transformer-XL であり、そのセグメントレベルの再帰によって、試行の境界をまたいで最大 896 ステップ（50 Hz で約 18 s）まで記憶が延長される。報酬は 1 エピソード内の複数の試行にわたって最大化される。KV-cache により推論コストは時間に対して線形に保たれる。

主な知見

  • 幅広いタスク分布には長いコンテキストが必要である。短い履歴しか持たないポリシーは、適応に十分なほどロボットを同定できない。
  • エピソードの境界をまたぐ記憶により、ポリシーは以前の転倒から学習し、後の試行でより良い結果を出せる。
  • 異なるヒューマノイドの派生形の内部表現は、最初は似ているが、明示的な形態の入力がなくても約 5 秒以内に別々のクラスタに分かれる。
  • アーキテクチャが重要である。同じ方法で学習した GRU ポリシーの平均は 0.37 であるのに対し、Transformer-XL ポリシーはゼロショットで 0.96 である。
  • 学習には専用ポリシー 1 つ分の 500 倍の計算量を要したが、100,000 台のロボットをカバーしており、専用ポリシーの 1 日に対してロボット 1 台あたり約 0.005 日に相当する。

主な結果

  • シミュレーション内の未見のロボット 10 台（各 1,000 環境）において、目標方向への正規化変位は、ゼロショットで平均 0.96、5 s の適応後に 0.98 であった。これに対し、ロボットごとのエキスパートポリシーは 0.99、形態を条件とするトランスフォーマーは 0.78、GRU は 0.37 であった。
  • 足首関節を持たない二足ロボット LimX Dynamics TRON1 では、5 s の適応によりスコアが 0.87 から 0.96 に上昇した。
  • 実機の Unitree G1、H1、Go2、Go2-W にゼロショットで展開し、Go2 と Go2-W は後ろ脚による二足歩行でも動作させた。
  • Go2 の膝を 1 つ固定すると、ポリシーは体重を 3 本の脚に移し、2–3 s 後に歩き始めた。下腿を切り落とすと、7–8 s 後に膝で歩いた。いずれのケースも学習には含まれていなかった。
  • Go2-W では、ソフトウェアで車輪をロックするとポリシーは歩行の歩容に切り替わり、ロックを解除すると転がる走行に戻った。
  • ドメインランダム化を学習時の範囲の 2 倍に広げた場合、4 つの形態タイプすべてで、6 秒のロールアウトにおける生存率は適応時間が長いほど向上した。

制限事項

  • 専用ポリシーと比べて学習には非常に多くの資源が必要である。著者は、大規模並列 RL におけるアルゴリズム上の改善が可能かもしれないと述べている。
  • プロシージャル生成のタスク空間は手作業で設計されており、一般には設計が難しい場合がある。著者は LLM やその他のウェブ規模の情報源からのタスク自動生成を提案している。
  • プロシージャル生成はすべての実際の設計をカバーしているわけではない。例えば、Berkeley Humanoid の股関節ロールおよびヨー関節の下反角や、G1 の x 軸方向にオフセットした関節軸などである。
  • 非常に不安定な構成では最初の試行が失敗することがある。足首のモーターなしで二足として動かした場合、ロボットは最初の試行で転倒し、3 回目になってようやく安定して歩いた。
  • 示されているのはロコモーションのみであり、他のスキルへのレシピの拡張は提案されているものの検証されていない。

分野への影響

CoRL 2025 最優秀論文賞および最優秀学生論文賞の最終候補に選ばれ、被引用数は 39。論文は generalist-locomotion.github.io の動画へのリンクを示しているが、コードやモデルの公開については記載していない。

概要

現代のロコモーション制御器は、特定の身体構成に合わせて手作業で調整されている。我々は、運動学の正確な知識がなくても、未見の脚型・車輪型ロボットを制御できる汎用的なオムニボディ型ロコモーションモデル LocoFormer を提示する。LocoFormer はテスト時に形態とダイナミクスの変化に適応できる。適応を可能にする 2 つの重要な選択があることがわかった。第一に、積極的なドメインランダム化を施したプロシージャル生成ロボットで大規模な RL 学習を行う。第二に、短いコンテキスト長しか持たず近視眼的であった従来のポリシーとは対照的に、コンテキストを桁違いに延長してエピソードの境界をまたぐようにする。同じ LocoFormer をさまざまなロボットに展開し、重量の変化やモーターの故障といった大きな外乱があっても頑健な制御を示す。極端なシナリオでは、エピソードをまたいだ創発的な適応が見られ、LocoFormer は初期のエピソードでの転倒から学習し、後のエピソードで制御戦略を改善する。このシンプルかつ汎用的なレシピは、将来、他のロボットスキルの基盤モデルの学習にも利用できると考えている。動画は http://generalist-locomotion.github.io にある。

リンク

  • arXiv 2509.23745: https://arxiv.org/abs/2509.23745
  • DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
  • PDF: https://arxiv.org/pdf/2509.23745v1
  • プロジェクトページ: https://generalist-locomotion.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。