LocoFormer: Generalist Locomotion via Long-context Adaptation

作者: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

LocoFormer 在约 100k 个程序化生成的机器人上用 RL 训练一个长上下文 Transformer-XL 策略；它能以零样本方式控制未见过的机器人，并在多次试验中不断改进。

为何重要

一个能在上下文中自适应的单一模型，有望免去针对每台机器人的调参和系统辨识，并让受损的机器人继续移动。在真实测试中，同一组权重无需重新训练即可驱动 Unitree G1、H1、Go2 和 Go2-W，包括让 Go2 仅用两条后腿行走。

问题

运动控制器通常只针对一台机器人训练，域随机化范围很窄，并且只使用几百毫秒的历史。这样的策略无法迁移到新的本体上，在电机烧毁或腿部断裂等大变化下会失效，而且通常需要为每台机器人进行繁琐的系统辨识。

提出的方法

作者以程序化方式生成带轮和不带轮的双足和四足机器人，对其运动学和动力学进行激进的随机化，并在仿真中使用统一的观测与动作关节空间以 PPO 进行训练。策略是一个 Transformer-XL，其片段级循环将记忆扩展到最多 896 步（在 50 Hz 下约 18 s），并跨越试验边界；奖励在同一回合内的多次试验上最大化。KV-cache 使推理成本随时间线性增长。

关键见解

• 宽泛的任务分布需要长上下文：只有短历史的策略无法充分辨识机器人，因而无法适应。
• 跨越回合边界的记忆使策略能够从先前的跌倒中学习，并在后续试验中表现更好。
• 不同人形机器人变体的内部表征起初相似，在约 5 秒内就分离成不同的簇，且无需任何显式的形态输入。
• 架构很重要：以相同方式训练的 GRU 策略平均得分为 0.37，而 Transformer-XL 策略的零样本得分为 0.96。
• 训练所用算力是单个专用策略的 500 倍，但覆盖了 100,000 个机器人，约合每个机器人 0.005 天，而专用策略需要 1 天。

主要结果

• 在仿真中的 10 个未见过的机器人上（每个 1,000 个环境），朝向目标的归一化位移在零样本时平均为 0.96，适应 5 s 后为 0.98，而每台机器人的专家策略为 0.99，以形态为条件的 Transformer 为 0.78，GRU 为 0.37。
• 在没有踝关节的双足机器人 LimX Dynamics TRON1 上，5 s 的适应将得分从 0.87 提高到 0.96。
• 以零样本方式部署到真实的 Unitree G1、H1、Go2 和 Go2-W 上，其中 Go2 和 Go2-W 还以双足方式仅用后腿运行。
• 在 Go2 的一个膝关节被锁死时，策略将重心转移到三条腿上，并在 2–3 s 后开始行走；在小腿被截掉后，它在 7–8 s 后用膝盖行走。这两种情况都不在训练中。
• 在 Go2-W 上，当车轮在软件中被锁定时，策略会切换为行走步态，并在解锁后恢复滚动。
• 当域随机化范围扩大到训练范围的两倍时，对全部四种形态类型而言，6 秒 rollout 中的存活率都随适应时间的延长而提高。

局限

• 与专用策略相比，训练非常耗费资源；作者指出，大规模并行 RL 在算法上可能还有改进空间。
• 程序化生成的任务空间是手工设计的，在一般情况下可能难以设计；作者建议利用 LLM 或其他网络规模的来源自动生成任务。
• 程序化生成并未覆盖所有真实设计，例如 Berkeley Humanoid 在髋部横滚和偏航关节上的下反角，或 G1 沿 x 轴偏置的关节轴。
• 在非常不稳定的配置下，最初的几次试验可能会失败：在没有踝关节电机的情况下以双足方式运行时，机器人在第一次试验中跌倒，直到第三次才稳定行走。
• 仅展示了运动能力；将该方法扩展到其他技能只是被提出，尚未经过测试。

对领域的影响

入围 CoRL 2025 最佳论文奖和最佳学生论文奖决选，已被引用 39 次。论文在 generalist-locomotion.github.io 提供了视频链接；未说明是否发布代码或模型。

摘要

现代的运动（locomotion）控制器是针对特定本体手动调节的。我们提出 LocoFormer，一个通用的全形态运动模型，能够控制此前未见过的足式和轮式机器人，即使不精确了解其运动学也可以。LocoFormer 能够在测试时适应形态和动力学的变化。我们发现有两个关键选择使这种适应成为可能。第一，我们在程序化生成的机器人上，以激进的域随机化进行大规模 RL 训练。第二，与以往上下文长度较短、目光短浅的策略不同，我们将上下文扩展了几个数量级，使其跨越回合边界。我们将同一个 LocoFormer 部署到多种机器人上，并展示了即使在重量变化和电机故障等大扰动下也能实现鲁棒控制。在极端场景中，我们观察到跨回合的涌现式适应：LocoFormer 从早期回合的跌倒中学习，以改进后续回合中的控制策略。我们相信，这一简单而通用的方法未来可用于训练其他机器人技能的基础模型。视频见 http://generalist-locomotion.github.io。

链接

• arXiv 2509.23745: https://arxiv.org/abs/2509.23745
• DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
• PDF: https://arxiv.org/pdf/2509.23745v1
• 项目主页: https://generalist-locomotion.github.io/