LocoFormer: Generalist Locomotion via Long-context Adaptation

Autores: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

LocoFormer entrena con RL una única política Transformer-XL de contexto largo en unos 100k robots generados proceduralmente; controla robots no vistos zero-shot y mejora de un intento a otro.

Por qué importa

Un único modelo que se adapta en contexto podría eliminar el ajuste por robot y la identificación del sistema, y mantener en movimiento un robot dañado. En pruebas reales, los mismos pesos controlaron un Unitree G1, un H1, un Go2 y un Go2-W, incluido el Go2 caminando sobre sus dos patas traseras, sin reentrenamiento.

Problema

Los controladores de locomoción suelen entrenarse para un solo robot con una aleatorización de dominio estrecha y solo unos pocos cientos de milisegundos de historial. Estas políticas no se transfieren a cuerpos nuevos, fallan ante cambios grandes como motores quemados o patas rotas y a menudo necesitan una laboriosa identificación del sistema para cada robot.

Solución propuesta

Los autores generan proceduralmente bípedos y cuadrúpedos, con y sin ruedas, aleatorizan de forma agresiva su cinemática y su dinámica y entrenan con PPO en simulación usando un espacio articular unificado para observaciones y acciones. La política es un Transformer-XL cuya recurrencia a nivel de segmento extiende la memoria hasta 896 pasos (unos 18 s a 50 Hz) a través de los límites entre intentos, y la recompensa se maximiza a lo largo de varios intentos dentro de un mismo episodio. Una KV-cache mantiene el coste de inferencia lineal en el tiempo.

Ideas clave

• Una distribución de tareas amplia necesita un contexto largo: las políticas con historial corto no pueden identificar el robot lo bastante bien como para adaptarse.
• Una memoria que abarca los límites entre episodios permite a la política aprender de caídas anteriores y hacerlo mejor en intentos posteriores.
• Las representaciones internas de distintas variantes de humanoide empiezan siendo similares y se separan en grupos diferenciados en unos 5 segundos, sin ninguna entrada explícita de morfología.
• La arquitectura importa: una política GRU entrenada de la misma forma obtiene una media de 0,37, frente a 0,96 zero-shot de la política Transformer-XL.
• El entrenamiento costó 500 veces el cómputo de una política especialista, pero cubrió 100 000 robots, alrededor de 0,005 días por robot frente a 1 día para un especialista.

Resultados principales

• En 10 robots no vistos en simulación (1000 entornos cada uno), el desplazamiento normalizado hacia el objetivo es de media 0,96 zero-shot y 0,98 tras 5 s de adaptación, frente a 0,99 de las políticas expertas por robot, 0,78 de un transformador condicionado por la morfología y 0,37 de una GRU.
• En el LimX Dynamics TRON1, un bípedo sin articulaciones de tobillo, 5 s de adaptación elevan la puntuación de 0,87 a 0,96.
• Despliegue zero-shot en robots reales Unitree G1, H1, Go2 y Go2-W, con el Go2 y el Go2-W funcionando también como bípedos sobre sus patas traseras.
• Con una rodilla bloqueada en el Go2, la política desplaza el peso a tres patas y camina tras 2–3 s; con las patas inferiores cortadas, camina sobre las rodillas tras 7–8 s. Ninguno de los dos casos estaba en el entrenamiento.
• En el Go2-W, cuando las ruedas se bloquean por software, la política cambia a una marcha a pie y vuelve a rodar cuando se desbloquean.
• Con la aleatorización de dominio duplicada más allá de los rangos de entrenamiento, la supervivencia en ejecuciones de 6 segundos mejora con un tiempo de adaptación más largo para los cuatro tipos de morfología.

Limitaciones

• El entrenamiento consume muchísimos recursos en comparación con una política especialista; los autores señalan que podrían ser posibles mejoras algorítmicas en el RL masivamente paralelo.
• El espacio de tareas generado proceduralmente está diseñado a mano y puede ser difícil de diseñar en general; los autores sugieren la generación automatizada de tareas a partir de LLM u otras fuentes a escala web.
• La generación procedural no cubre todos los diseños reales, p. ej., los ángulos anédricos de Berkeley Humanoid en las articulaciones de alabeo y de guiñada de la cadera, o los ejes articulares del G1 desplazados a lo largo del eje x.
• En configuraciones muy inestables, los primeros intentos pueden fallar: funcionando como bípedo sin motor de tobillo, el robot cayó en el primer intento y solo caminó de forma estable en el tercero.
• Solo se demuestra la locomoción; la extensión de la receta a otras habilidades se propone, pero no se prueba.

Impacto en el campo

Finalista de los premios CoRL 2025 Best Paper y Best Student Paper, con 39 citas. El artículo enlaza vídeos en generalist-locomotion.github.io; no indica ninguna publicación de código ni de modelos.

Resumen

Los controladores de locomoción modernos se ajustan manualmente para encarnaciones específicas. Presentamos LocoFormer, un modelo de locomoción generalista para cualquier cuerpo que puede controlar robots con patas y con ruedas no vistos previamente, incluso sin un conocimiento preciso de su cinemática. LocoFormer es capaz de adaptarse a cambios de morfología y de dinámica en tiempo de prueba. Encontramos que dos decisiones clave permiten la adaptación. En primer lugar, entrenamos RL a escala masiva en robots generados proceduralmente con una aleatorización de dominio agresiva. En segundo lugar, a diferencia de las políticas anteriores, que son miopes con longitudes de contexto cortas, ampliamos el contexto en órdenes de magnitud para que abarque los límites entre episodios. Desplegamos el mismo LocoFormer en robots variados y mostramos un control robusto incluso con grandes perturbaciones, como cambios de peso y fallos de motores. En escenarios extremos observamos una adaptación emergente entre episodios: LocoFormer aprende de las caídas en los primeros episodios para mejorar sus estrategias de control en los siguientes. Creemos que esta receta sencilla, pero general, podrá usarse en el futuro para entrenar modelos fundacionales para otras habilidades robóticas. Vídeos en http://generalist-locomotion.github.io.

Enlaces

• arXiv 2509.23745: https://arxiv.org/abs/2509.23745
• DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
• PDF: https://arxiv.org/pdf/2509.23745v1
• Página del proyecto: https://generalist-locomotion.github.io/