LocoFormer: Generalist Locomotion via Long-context Adaptation

作者: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

LocoFormer 在約 100k 個程序化生成的機器人上以 RL 訓練單一的長上下文 Transformer-XL 策略；它能以零樣本方式控制未見過的機器人，並在多次試驗中逐步改進。

為何重要

一個能在上下文中自我適應的單一模型，有可能省去每台機器人的調校與系統識別，並讓受損的機器人繼續移動。在實機測試中，同一組權重無需重新訓練，就能驅動 Unitree G1、H1、Go2 與 Go2-W，包括讓 Go2 只用兩條後腿行走。

問題

行走運動控制器通常只針對一台機器人訓練，領域隨機化範圍很窄，且只使用數百毫秒的歷史。這類策略無法轉移到新的本體，在馬達燒毀或腿部斷裂等大幅變化下會失效，而且往往需要為每台機器人進行費力的系統識別。

提出的方法

作者以程序化方式生成有輪與無輪的雙足及四足機器人，對其運動學與動力學進行激進的隨機化，並在模擬中使用觀測與動作共用的統一關節空間，以 PPO 進行訓練。策略是一個 Transformer-XL，其片段層級的遞迴將記憶延伸至最多 896 步（在 50 Hz 下約 18 s），並跨越試驗邊界；獎勵則在同一回合內的多次試驗上最大化。KV-cache 讓推論成本隨時間線性成長。

關鍵見解

範圍寬廣的任務分布需要長上下文：只有短歷史的策略無法充分識別機器人，因此無法適應。
跨越回合邊界的記憶，讓策略能從先前的跌倒中學習，並在之後的試驗中表現得更好。
不同人形機器人變體的內部表徵一開始很相似，約在 5 秒內就分離成不同的群集，完全不需要明確的形態輸入。
架構很重要：以相同方式訓練的 GRU 策略平均為 0.37，而 Transformer-XL 策略的零樣本成績為 0.96。
訓練耗用的運算量是單一專用策略的 500 倍，但涵蓋了 100,000 台機器人，約為每台機器人 0.005 天，而專用策略需要 1 天。

主要結果

在模擬中的 10 台未見過的機器人上（每台 1,000 個環境），朝目標的正規化位移在零樣本時平均為 0.96，適應 5 s 後為 0.98，相較之下每台機器人的專家策略為 0.99，以形態為條件的 Transformer 為 0.78，GRU 為 0.37。
在沒有踝關節的雙足機器人 LimX Dynamics TRON1 上，5 s 的適應將分數從 0.87 提高到 0.96。
以零樣本方式部署到實體的 Unitree G1、H1、Go2 與 Go2-W，其中 Go2 與 Go2-W 也以後腿雙足方式運行。
當 Go2 的一個膝關節被鎖住時，策略會把重量轉移到三條腿上，並在 2–3 s 後開始行走；小腿被截掉後，它在 7–8 s 後改用膝蓋行走。這兩種情況都不在訓練範圍內。
在 Go2-W 上，當車輪在軟體中被鎖定時，策略會切換為行走步態，解鎖後則恢復滾動。
將領域隨機化範圍擴大到訓練範圍的兩倍時，四種形態類型在 6 秒 rollout 中的存活率，都隨適應時間拉長而提升。

限制

與專用策略相比，訓練極為耗費資源；作者指出，大規模平行 RL 在演算法上或許還有改進空間。
程序化生成的任務空間是人工設計的，一般而言可能不易設計；作者建議利用 LLM 或其他網路規模的來源自動產生任務。
程序化生成並未涵蓋所有實際設計，例如 Berkeley Humanoid 在髖部滾轉與偏航關節上的下反角，或 G1 沿 x 軸偏移的關節軸。
在非常不穩定的配置下，最初幾次試驗可能失敗：在沒有踝關節馬達的情況下以雙足方式運行時，機器人在第一次試驗中跌倒，直到第三次才穩定行走。
只展示了行走運動；將此方法延伸到其他技能僅是提議，尚未經過測試。

對領域的影響

入圍 CoRL 2025 最佳論文獎與最佳學生論文獎決選，已被引用 39 次。論文在 generalist-locomotion.github.io 提供影片連結；未說明是否釋出程式碼或模型。

摘要

現代的行走運動（locomotion）控制器是針對特定本體人工調校的。我們提出 LocoFormer，一個通用的全形態行走運動模型，能控制先前未見過的足式與輪式機器人，即使沒有其運動學的精確資訊也可以。LocoFormer 能在測試時適應形態與動力學的變化。我們發現有兩個關鍵選擇讓這種適應成為可能。第一，我們在程序化生成的機器人上，搭配激進的領域隨機化，進行大規模 RL 訓練。第二，不同於以往上下文長度短、目光短淺的策略，我們將上下文延長了好幾個數量級，使其跨越回合邊界。我們將同一個 LocoFormer 部署到各種機器人上，並展示即使面對重量改變與馬達故障等大幅擾動，仍能穩健控制。在極端情境中，我們觀察到跨回合的湧現式適應：LocoFormer 會從早期回合的跌倒中學習，以改善後續回合的控制策略。我們相信，這個簡單而通用的方法未來可用來訓練其他機器人技能的基礎模型。影片請見 http://generalist-locomotion.github.io。

連結

arXiv 2509.23745: https://arxiv.org/abs/2509.23745
DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
PDF: https://arxiv.org/pdf/2509.23745v1
專案頁面: https://generalist-locomotion.github.io/