LocoFormer: Generalist Locomotion via Long-context Adaptation

Autori: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

LocoFormer addestra con RL un'unica policy Transformer-XL a contesto lungo su circa 100k robot generati proceduralmente; controlla robot mai visti zero-shot e migliora da una prova all'altra.

Perché è importante

Un unico modello che si adatta nel contesto potrebbe eliminare la messa a punto per singolo robot e l'identificazione del sistema, e mantenere in movimento un robot danneggiato. Nei test reali gli stessi pesi hanno controllato un Unitree G1, un H1, un Go2 e un Go2-W, compreso il Go2 che cammina sulle due gambe posteriori, senza riaddestramento.

Problema

I controllori di locomozione sono di solito addestrati per un solo robot con una randomizzazione del dominio ristretta e solo poche centinaia di millisecondi di storia. Queste policy non si trasferiscono a corpi nuovi, falliscono con cambiamenti importanti come motori bruciati o gambe rotte e spesso richiedono una laboriosa identificazione del sistema per ogni robot.

Soluzione proposta

Gli autori generano proceduralmente bipedi e quadrupedi, con e senza ruote, randomizzano in modo aggressivo la loro cinematica e dinamica e addestrano con PPO in simulazione usando uno spazio dei giunti unificato per osservazioni e azioni. La policy è un Transformer-XL la cui ricorrenza a livello di segmento estende la memoria fino a 896 passi (circa 18 s a 50 Hz) attraverso i confini tra le prove, e la ricompensa è massimizzata su più prove all'interno di un episodio. Una KV-cache mantiene il costo di inferenza lineare nel tempo.

Idee chiave

• Un'ampia distribuzione di task richiede un contesto lungo: le policy con una storia breve non riescono a identificare il robot abbastanza bene da adattarsi.
• Una memoria che attraversa i confini tra gli episodi permette alla policy di imparare dalle cadute precedenti e di fare meglio nelle prove successive.
• Le rappresentazioni interne di diverse varianti di umanoide partono simili e si separano in cluster distinti in circa 5 secondi, senza alcun input esplicito sulla morfologia.
• L'architettura conta: una policy GRU addestrata allo stesso modo ottiene in media 0,37, contro 0,96 zero-shot della policy Transformer-XL.
• L'addestramento ha richiesto 500 volte il calcolo di una policy specialistica, ma ha coperto 100.000 robot, circa 0,005 giorni per robot contro 1 giorno per uno specialista.

Risultati principali

• Su 10 robot mai visti in simulazione (1.000 ambienti ciascuno), lo spostamento normalizzato verso l'obiettivo è in media 0,96 zero-shot e 0,98 dopo 5 s di adattamento, contro 0,99 delle policy esperte per singolo robot, 0,78 di un Transformer condizionato sulla morfologia e 0,37 di una GRU.
• Sul LimX Dynamics TRON1, un bipede senza giunti alla caviglia, 5 s di adattamento portano il punteggio da 0,87 a 0,96.
• Distribuzione zero-shot su robot reali Unitree G1, H1, Go2 e Go2-W, con il Go2 e il Go2-W fatti funzionare anche come bipedi sulle gambe posteriori.
• Con un ginocchio bloccato sul Go2, la policy sposta il peso su tre gambe e cammina dopo 2–3 s; con la parte inferiore delle gambe tagliata, cammina sulle ginocchia dopo 7–8 s. Nessuno dei due casi era presente in addestramento.
• Sul Go2-W, quando le ruote vengono bloccate via software la policy passa a un'andatura camminata e torna a rotolare quando vengono sbloccate.
• Con la randomizzazione del dominio raddoppiata oltre gli intervalli di addestramento, la sopravvivenza su rollout di 6 secondi migliora con un tempo di adattamento più lungo per tutti e quattro i tipi di morfologia.

Limiti

• L'addestramento è molto oneroso in termini di risorse rispetto a una policy specialistica; gli autori osservano che potrebbero essere possibili miglioramenti algoritmici nell'RL massivamente parallelo.
• Lo spazio dei task generato proceduralmente è costruito a mano e può essere difficile da progettare in generale; gli autori suggeriscono la generazione automatica dei task tramite LLM o altre fonti su scala web.
• La generazione procedurale non copre tutti i progetti reali, ad es. gli angoli anedri del Berkeley Humanoid nei giunti di rollio e di imbardata dell'anca, o gli assi dei giunti del G1 sfalsati lungo l'asse x.
• In configurazioni molto instabili le prime prove possono fallire: fatto funzionare come bipede senza motore alla caviglia, il robot è caduto alla prima prova ed è riuscito a camminare stabilmente solo alla terza.
• È dimostrata solo la locomozione; l'estensione della ricetta ad altre abilità è proposta ma non testata.

Impatto sul settore

Finalista ai premi CoRL 2025 Best Paper e Best Student Paper, con 39 citazioni. L'articolo rimanda a video su generalist-locomotion.github.io; non indica un rilascio di codice o del modello.

Abstract

I moderni controllori di locomozione sono regolati manualmente per embodiment specifici. Presentiamo LocoFormer, un modello di locomozione generalista per qualsiasi corpo in grado di controllare robot con gambe e a ruote mai visti prima, anche senza una conoscenza precisa della loro cinematica. LocoFormer è in grado di adattarsi ai cambiamenti di morfologia e di dinamica al momento del test. Riscontriamo che due scelte chiave rendono possibile l'adattamento. In primo luogo, addestriamo con RL su scala massiva robot generati proceduralmente con una randomizzazione del dominio aggressiva. In secondo luogo, a differenza delle policy precedenti, miopi a causa di contesti brevi, estendiamo il contesto di ordini di grandezza in modo che attraversi i confini tra gli episodi. Distribuiamo lo stesso LocoFormer su robot diversi e mostriamo un controllo robusto anche con forti disturbi come variazioni di peso e guasti ai motori. In scenari estremi osserviamo un adattamento emergente tra episodi: LocoFormer impara dalle cadute nei primi episodi per migliorare le strategie di controllo in quelli successivi. Riteniamo che questa ricetta semplice ma generale possa essere usata in futuro per addestrare foundation model per altre abilità robotiche. Video su http://generalist-locomotion.github.io.

Link

• arXiv 2509.23745: https://arxiv.org/abs/2509.23745
• DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
• PDF: https://arxiv.org/pdf/2509.23745v1
• Pagina del progetto: https://generalist-locomotion.github.io/