LocoFormer: Generalist Locomotion via Long-context Adaptation

Autores: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O LocoFormer treina com RL uma única política Transformer-XL de contexto longo em cerca de 100k robôs gerados proceduralmente; controla robôs não vistos zero-shot e melhora de uma tentativa para a outra.

Por que importa

Um único modelo que se adapta em contexto poderia eliminar o ajuste por robô e a identificação de sistemas, e manter um robô danificado em movimento. Em testes reais, os mesmos pesos controlaram um Unitree G1, um H1, um Go2 e um Go2-W, incluindo o Go2 andando sobre as duas pernas traseiras, sem retreinamento.

Problema

Controladores de locomoção geralmente são treinados para um único robô com randomização de domínio estreita e apenas algumas centenas de milissegundos de histórico. Essas políticas não se transferem para novos corpos, falham diante de grandes mudanças, como motores queimados ou pernas quebradas, e muitas vezes exigem uma identificação de sistema trabalhosa para cada robô.

Solução proposta

Os autores geram proceduralmente bípedes e quadrúpedes, com e sem rodas, randomizam de forma agressiva sua cinemática e dinâmica e treinam com PPO em simulação usando um espaço de juntas unificado para observações e ações. A política é um Transformer-XL cuja recorrência em nível de segmento estende a memória até 896 passos (cerca de 18 s a 50 Hz) através dos limites entre tentativas, e a recompensa é maximizada ao longo de várias tentativas dentro de um mesmo episódio. Um KV-cache mantém o custo de inferência linear no tempo.

Principais ideias

Uma distribuição de tarefas ampla exige contexto longo: políticas com histórico curto não conseguem identificar o robô bem o suficiente para se adaptar.
Uma memória que abrange os limites entre episódios permite que a política aprenda com quedas anteriores e se saia melhor em tentativas posteriores.
As representações internas de diferentes variantes de humanoide começam semelhantes e se separam em agrupamentos distintos em cerca de 5 segundos, sem nenhuma entrada explícita de morfologia.
A arquitetura importa: uma política GRU treinada da mesma forma tem média de 0,37, contra 0,96 zero-shot da política Transformer-XL.
O treinamento custou 500 vezes a computação de uma política especialista, mas cobriu 100.000 robôs, cerca de 0,005 dia por robô contra 1 dia para um especialista.

Principais resultados

Em 10 robôs não vistos em simulação (1.000 ambientes cada), o deslocamento normalizado em direção ao objetivo tem média de 0,96 zero-shot e 0,98 após 5 s de adaptação, contra 0,99 de políticas especialistas por robô, 0,78 de um transformador condicionado à morfologia e 0,37 de uma GRU.
No LimX Dynamics TRON1, um bípede sem juntas de tornozelo, 5 s de adaptação elevam a pontuação de 0,87 para 0,96.
Implantação zero-shot em robôs reais Unitree G1, H1, Go2 e Go2-W, com o Go2 e o Go2-W também operando como bípedes sobre as pernas traseiras.
Com um joelho travado no Go2, a política transfere o peso para três pernas e anda após 2–3 s; com as partes inferiores das pernas cortadas, anda sobre os joelhos após 7–8 s. Nenhum dos casos estava no treinamento.
No Go2-W, quando as rodas são travadas por software, a política muda para uma marcha a pé e volta a rolar quando elas são destravadas.
Com a randomização de domínio dobrada além das faixas de treinamento, a sobrevivência em execuções de 6 segundos melhora com tempo de adaptação maior para todos os quatro tipos de morfologia.

Limitações

O treinamento consome muitos recursos em comparação com uma política especialista; os autores observam que melhorias algorítmicas em RL massivamente paralelo podem ser possíveis.
O espaço de tarefas gerado proceduralmente é feito à mão e pode ser difícil de projetar em geral; os autores sugerem a geração automatizada de tarefas a partir de LLMs ou outras fontes em escala da web.
A geração procedural não cobre todos os projetos reais, por exemplo os ângulos anédricos do Berkeley Humanoid nas juntas de rolagem e de guinada do quadril, ou os eixos das juntas do G1 deslocados ao longo do eixo x.
Em configurações muito instáveis, as primeiras tentativas podem falhar: operando como bípede sem motor de tornozelo, o robô caiu na primeira tentativa e só andou de forma estável na terceira.
Apenas a locomoção é demonstrada; a extensão da receita a outras habilidades é proposta, mas não testada.

Impacto na área

Finalista dos prêmios CoRL 2025 Best Paper e Best Student Paper, com 39 citações. O artigo traz links para vídeos em generalist-locomotion.github.io; não informa a liberação de código ou de modelo.

Resumo

Os controladores de locomoção modernos são ajustados manualmente para corporificações específicas. Apresentamos o LocoFormer, um modelo de locomoção generalista para qualquer corpo, capaz de controlar robôs com pernas e com rodas nunca vistos, mesmo sem conhecimento preciso de sua cinemática. O LocoFormer consegue se adaptar a mudanças de morfologia e de dinâmica em tempo de teste. Constatamos que duas escolhas-chave possibilitam a adaptação. Primeiro, treinamos RL em escala massiva em robôs gerados proceduralmente com randomização de domínio agressiva. Segundo, ao contrário de políticas anteriores, que são míopes, com comprimentos de contexto curtos, estendemos o contexto em ordens de grandeza para abranger os limites entre episódios. Implantamos o mesmo LocoFormer em robôs variados e mostramos controle robusto mesmo com grandes perturbações, como mudanças de peso e falhas de motor. Em cenários extremos, observamos adaptação emergente entre episódios: o LocoFormer aprende com quedas nos primeiros episódios para melhorar as estratégias de controle nos seguintes. Acreditamos que essa receita simples, porém geral, poderá ser usada no futuro para treinar modelos de fundação para outras habilidades robóticas. Vídeos em http://generalist-locomotion.github.io.

Open Source Robotics