RL Token: Bootstrapping Online RL with Vision-Language-Action Models
Autoren: Charles Xu, Jost Tobias Springenberg, Michael Equi, Ali Amin, Adnan Esmail, Sergey Levine, Liyiming Ke · CoRL 2026
Lizenzen
- Open Access
- Paper: CC BY 4.0
Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0.
Kurz gesagt
RL Token (RLT) bootstrapped Online-RL auf einer vortrainierten VLA mittels eines einzelnen kompakten Readout-Tokens plus einem kleinen Actor-Critic-Kopf — Finetuning realer Roboterpolicies in Minuten bis Stunden mit bis zu 3-facher Geschwindigkeitssteigerung.
Warum es wichtig ist
Die meisten VLA-Papers konzentrieren sich auf Pretraining oder Imitation Learning. Das schwierige Problem beim Deployment von VLAs ist die letzte Meile zwischen „funktioniert irgendwie“ und „produktionsreifer Präzision und Geschwindigkeit“. RLT zeigt, dass diese Lücke in Minuten bis Stunden realer Roboterübung geschlossen werden kann statt in Wochen zusätzlicher Datenerhebung — und das ohne architekturspezifische RL-Maschinerie (wie sie π-RL benötigte). Dadurch wird RL-Post-Training zu einem glaubwürdigen Deployment-Schritt statt einer Forschungskuriosität.
Problem
Vortrainierte VLAs (RT-2, π₀, OpenVLA, π₀.5) können Manipulationsfähigkeiten out-of-the-box ausführen, aber es fehlt ihnen die Präzision und Geschwindigkeit, die reale Aufgaben verlangen. Bestehendes Online-RL-Finetuning von VLAs ist entweder langsam (hohe Stichprobenkomplexität), brüchig (katastrophales Vergessen) oder architekturspezifisch (z. B. funktioniert π-RL nur mit Flow-Matching-Policies).
Lösungsansatz
Die Basis-VLA wird so adaptiert, dass sie einen kompakten „RL token“ exponiert — einen Readout, der das für die Aufgabe relevante vortrainierte Wissen zusammenfasst. Auf diesem Token wird ein kleiner Actor-Critic-Kopf trainiert, während die VLA eingefroren (oder KL-verankert) bleibt. Der Token bietet eine stabile, niedrigdimensionale Schnittstelle für Policy-Gradient-Methoden und entkoppelt das RL-Finetuning von der zugrunde liegenden VLA-Architektur.
Wichtigste Erkenntnisse
- Ein einzelnes „RL-Token“, das der Eingabe des VLA vorangestellt wird, dient als stabile, kompakte Schnittstelle für Online-RL — und umgeht so das Log-Wahrscheinlichkeitsproblem beim Flow Matching, das π-RL umständlich umgehen musste.
- Das Basis-VLA bleibt eingefroren (oder per KL verankert). Nur ein kleiner Actor-Critic-Kopf wird trainiert, was die Stichprobenkomplexität gering hält und katastrophales Vergessen vortrainierter Fähigkeiten verhindert.
- Online-RL ist nach wenigen Minuten bis einigen Stunden Übung am realen Roboter abgeschlossen — kurz genug, dass Ingenieure ohne Simulation direkt an der Hardware iterieren können.
- Bei präzisionsbegrenzten Aufgaben (Ausrichten von Schrauben, Einstecken von Ethernet-Steckern) kann RLT schneller sein als menschliche Teleoperation — die Policy lernt eine glattere Trajektorie, als ein Mensch sie manuell erzeugen kann.
- Der Ansatz generalisiert über vier heterogene Aufgaben mit realen Robotern ohne aufgabenspezifisches Hyperparameter-Tuning, was darauf hindeutet, dass die tokenbasierte Schnittstelle aufgabenunabhängig ist.
Hauptergebnisse
- Bis zu 3× schneller im schwierigsten Abschnitt von vier Manipulationsaufgaben mit realen Robotern, nach wenigen Minuten bis einigen Stunden Online-RL-Übung.
- In mindestens einer Aufgabe übertrifft RLT die Geschwindigkeit menschlicher Teleoperation — die feinabgestimmte Policy führt das Präzisionseinstecken schneller aus als ein menschlicher Bediener.
- Die Stichprobeneffizienz ist hoch genug, dass Ingenieure am realen Roboter iterieren können, statt auf den Transfer aus der Simulation angewiesen zu sein.
- Dasselbe tokenbasierte Rezept funktioniert für vier heterogene Aufgaben (Schraubenmontage, Befestigen von Kabelbindern, Einstecken eines Ladegeräts, Einstecken eines Ethernet-Steckers) ohne aufgabenspezifisches Nachjustieren.
Einschränkungen
- Evaluiert auf einer einzigen Roboterplattform mit vier Manipulationsaufgaben — die Generalisierung auf mobile Manipulation / Fortbewegung / Mehrarm-Szenarien bleibt künftiger Arbeit überlassen.
- Erfordert ein starkes vortrainiertes VLA als Basis; die Methode behandelt nicht, wie dieses Basismodell überhaupt trainiert wird (wo nach wie vor der Großteil der Kosten anfällt).
- Online-RL mit realer Hardware erfordert weiterhin Engineering-Aufwand (Reset-Mechanismen, Sicherheitsbeschränkungen, Reward Shaping) — das Paper beansprucht keine Autonomie auf Knopfdruck.
Wirkung auf das Fachgebiet
Etabliert ein sauberes, modellagnostisches Rezept für den „Post-Training“-Schritt, der im VLA-Stack bislang fehlte. Es reiht sich neben HIL-SERL (2024), RL-100 (2025) und π-RL (2025) in die aufkommende Ära des „RL-Post-Trainings und Deployments“ ein — und führt den Trend effizienten Online-Finetunings fort, während architekturspezifische Einschränkungen entfallen. Wahrscheinlich wird es zur Vorlage, die nachfolgende VLA-Papers (π₀.5+, GR00T+) zitieren, wenn sie ihre Deployment-Pipelines beschreiben.
Zusammenfassung
Vision-Language-Action-Modelle (VLA) können vielfältige Manipulationsfähigkeiten „out of the box" erlernen, doch die für reale Aufgaben erforderliche Präzision und Geschwindigkeit erfordert weiteres Fine-Tuning — etwa durch Reinforcement Learning (RL). Wir stellen eine leichtgewichtige Methode vor, die mit nur wenigen Stunden realer Praxis ein stichprobeneffizientes Online-RL-Fine-Tuning vortrainierter VLAs ermöglicht. Wir (1) passen das VLA so an, dass es einen „RL-Token" offenlegt — eine kompakte Auslesedarstellung, die aufgabenrelevantes vortrainiertes Wissen bewahrt und gleichzeitig als effiziente Schnittstelle für Online-RL dient — und (2) trainieren auf diesem RL-Token einen kleinen Actor-Critic-Kopf, der die Aktionen verfeinert, während die gelernte Policy am VLA verankert bleibt. Online-RL mit dem RL-Token (RLT) macht es möglich, selbst große VLAs schnell und effizient mit RL zu finetunen. In vier realen Roboteraufgaben (Schraubeneindrehen, Kabelbinder-Befestigung, Ladegerät-Einstecken und Ethernet-Einstecken) verbessert RLT die Geschwindigkeit im schwierigsten Teil der Aufgabe um bis zu 3× und steigert die Erfolgsraten innerhalb von Minuten bis wenigen Stunden Praxis erheblich. In einigen Aufgaben übertrifft es sogar die Geschwindigkeit menschlicher Teleoperation.
Links
- arXiv 2604.23073: https://arxiv.org/abs/2604.23073
- PDF: https://www.pi.website/download/rlt.pdf
- Projektseite: https://www.pi.website/research/rlt