LocoFormer: Generalist Locomotion via Long-context Adaptation

Autoren: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

LocoFormer trainiert per RL eine einzige Transformer-XL-Policy mit langem Kontext auf etwa 100k prozedural erzeugten Robotern; sie steuert ungesehene Roboter zero-shot und verbessert sich über Versuche hinweg.

Warum es wichtig ist

Ein einziges Modell, das sich im Kontext anpasst, könnte roboterspezifisches Tuning und Systemidentifikation überflüssig machen und einen beschädigten Roboter in Bewegung halten. In realen Tests steuerten dieselben Gewichte ohne Nachtraining einen Unitree G1, H1, Go2 und Go2-W, einschließlich des Go2 beim Laufen auf seinen beiden Hinterbeinen.

Problem

Fortbewegungsregler werden meist für einen einzigen Roboter mit enger Domain Randomization und nur wenigen hundert Millisekunden Historie trainiert. Solche Policies übertragen sich nicht auf neue Körper, versagen bei großen Veränderungen wie durchgebrannten Motoren oder gebrochenen Beinen und erfordern oft mühsame Systemidentifikation für jeden Roboter.

Lösungsansatz

Die Autoren erzeugen prozedural Zwei- und Vierbeiner mit und ohne Räder, randomisieren deren Kinematik und Dynamik aggressiv und trainieren mit PPO in der Simulation unter Verwendung eines einheitlichen Gelenkraums für Beobachtungen und Aktionen. Die Policy ist ein Transformer-XL, dessen Rekurrenz auf Segmentebene das Gedächtnis über Versuchsgrenzen hinweg auf bis zu 896 Schritte (etwa 18 s bei 50 Hz) erweitert, und die Belohnung wird über mehrere Versuche innerhalb einer Episode maximiert. Ein KV-Cache hält die Inferenzkosten linear in der Zeit.

Wichtigste Erkenntnisse

Eine breite Aufgabenverteilung braucht langen Kontext: Policies mit kurzer Historie können den Roboter nicht gut genug identifizieren, um sich anzupassen.
Ein Gedächtnis, das Episodengrenzen überspannt, lässt die Policy aus früheren Stürzen lernen und in späteren Versuchen besser abschneiden.
Die internen Repräsentationen verschiedener Humanoid-Varianten beginnen ähnlich und trennen sich innerhalb von etwa 5 Sekunden in deutliche Cluster, ohne jegliche explizite Morphologie-Eingabe.
Die Architektur ist entscheidend: Eine auf dieselbe Weise trainierte GRU-Policy erreicht im Mittel 0,37, gegenüber 0,96 zero-shot für die Transformer-XL-Policy.
Das Training benötigte das 500-Fache der Rechenleistung einer Spezialisten-Policy, deckte aber 100.000 Roboter ab, etwa 0,005 Tage pro Roboter gegenüber 1 Tag für einen Spezialisten.

Hauptergebnisse

Über 10 ungesehene Roboter in der Simulation (je 1.000 Umgebungen) beträgt die normierte Verschiebung in Richtung Ziel im Mittel 0,96 zero-shot und 0,98 nach 5 s Anpassung, gegenüber 0,99 für roboterspezifische Experten-Policies, 0,78 für einen morphologiekonditionierten Transformer und 0,37 für eine GRU.
Auf dem LimX Dynamics TRON1, einem Zweibeiner ohne Sprunggelenke, hebt eine Anpassung von 5 s den Wert von 0,87 auf 0,96.
Zero-Shot-Einsatz auf realen Robotern Unitree G1, H1, Go2 und Go2-W, wobei Go2 und Go2-W auch als Zweibeiner auf ihren Hinterbeinen betrieben wurden.
Mit einem blockierten Knie am Go2 verlagert die Policy das Gewicht auf drei Beine und läuft nach 2–3 s; mit abgetrennten Unterschenkeln läuft sie nach 7–8 s auf den Knien. Keiner der beiden Fälle war im Training enthalten.
Werden beim Go2-W die Räder per Software blockiert, wechselt die Policy in eine Laufgangart und kehrt zum Rollen zurück, wenn sie wieder freigegeben werden.
Bei einer über die Trainingsbereiche hinaus verdoppelten Domain Randomization verbessert sich das Überleben über 6-Sekunden-Rollouts mit längerer Anpassungszeit für alle vier Morphologietypen.

Einschränkungen

Das Training ist im Vergleich zu einer Spezialisten-Policy sehr ressourcenintensiv; die Autoren merken an, dass algorithmische Verbesserungen bei massiv parallelem RL möglich sein könnten.
Der prozedural erzeugte Aufgabenraum ist von Hand gestaltet und im Allgemeinen möglicherweise schwer zu entwerfen; die Autoren schlagen eine automatisierte Aufgabengenerierung aus LLMs oder anderen Quellen im Web-Maßstab vor.
Die prozedurale Generierung deckt nicht alle realen Bauformen ab, z. B. die Anhedralwinkel des Berkeley Humanoid in den Hüft-Roll- und -Gierachsen oder die entlang der x-Achse versetzten Gelenkachsen des G1.
In sehr instabilen Konfigurationen können die ersten Versuche scheitern: Als Zweibeiner ohne Sprunggelenkmotor betrieben, stürzte der Roboter im ersten Versuch und lief erst ab dem dritten stabil.
Nur Fortbewegung wird demonstriert; die Übertragung des Rezepts auf andere Fähigkeiten wird vorgeschlagen, aber nicht getestet.

Wirkung auf das Fachgebiet

Finalist für die CoRL 2025 Best Paper und Best Student Paper Awards, mit 39 Zitierungen. Das Paper verlinkt Videos unter generalist-locomotion.github.io; eine Veröffentlichung von Code oder Modell wird nicht angegeben.

Zusammenfassung

Moderne Fortbewegungsregler werden für bestimmte Embodiments von Hand abgestimmt. Wir stellen LocoFormer vor, ein generalistisches Fortbewegungsmodell für beliebige Körper (omni-bodied), das bisher ungesehene Lauf- und Radroboter steuern kann, selbst ohne genaue Kenntnis ihrer Kinematik. LocoFormer kann sich zur Testzeit an Veränderungen von Morphologie und Dynamik anpassen. Wir stellen fest, dass zwei zentrale Entscheidungen die Anpassung ermöglichen. Erstens trainieren wir RL in massivem Maßstab auf prozedural erzeugten Robotern mit aggressiver Domain Randomization. Zweitens erweitern wir, im Gegensatz zu früheren Policies, die mit kurzen Kontextlängen kurzsichtig sind, den Kontext um Größenordnungen, sodass er Episodengrenzen überspannt. Wir setzen denselben LocoFormer auf verschiedenen Robotern ein und zeigen robuste Regelung selbst bei großen Störungen wie Gewichtsänderungen und Motorausfällen. In extremen Szenarien beobachten wir eine emergente Anpassung über Episoden hinweg: LocoFormer lernt aus Stürzen in frühen Episoden, um die Regelungsstrategien in späteren zu verbessern. Wir glauben, dass dieses einfache, aber allgemeine Rezept künftig genutzt werden kann, um Foundation Models für andere robotische Fähigkeiten zu trainieren. Videos unter http://generalist-locomotion.github.io.

Open Source Robotics