OAT: Ordered Action Tokenization

Autoren: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

OAT komprimiert einen Action-Chunk in 8 geordnete Tokens, und jedes Präfix dekodiert zu einem gültigen Chunk. Autoregressive Policies damit schlagen Binning, FAST, QueST und Diffusion Policy.

Warum es wichtig ist

Da jedes Token-Präfix zu einem ausführbaren Chunk dekodiert, bietet eine einzige trainierte Policy zur Laufzeit einen Kompromiss zwischen Geschwindigkeit und Präzision: Auf LIBERO dauert das Dekodieren von 1 Token 10,5 ms pro Inferenz und von 8 Tokens 27,4 ms auf einer NVIDIA A100, gegenüber 517,2 ms für Binning. Die Ablationen zeigen zudem, dass die Token-Reihenfolge und nicht die Kompression allein den Erfolg der Policy bestimmt, was eine konkrete Designregel für alle ist, die tokenbasierte Roboterpolicies entwickeln.

Problem

Autoregressive Roboterpolicies benötigen kontinuierliche Aktionen, die in diskrete Tokens umgewandelt werden. Binning pro Dimension erzeugt Hunderte Tokens pro Chunk, FAST (DCT plus Byte-Pair-Encoding) kann Tokensequenzen erzeugen, die nicht zu einem gültigen Action-Chunk dekodieren, und gelernte latente Tokenizer wie QueST liefern kompakte, aber ungeordnete Tokens, die sich schlecht für die Next-Token-Vorhersage eignen. Die Autoren argumentieren, dass kein bestehendes Schema alle drei Eigenschaften bietet: hohe Kompression, vollständige Dekodierbarkeit und kausale Ordnung von links nach rechts.

Lösungsansatz

OAT ist ein Autoencoder: Ein Transformer-Encoder liest den Action-Chunk zusammen mit lernbaren Register-Tokens, Finite Scalar Quantization (FSQ) diskretisiert die Register, und ein Transformer-Decoder rekonstruiert den Chunk. Kausale Attention zwischen den Registern und Nested Dropout (während des Trainings wird nur eine zufällige Anzahl führender Tokens behalten) bewirken, dass frühe Tokens die grobe Bewegung tragen und spätere Details hinzufügen. Jedes Präfix kann dann dekodiert werden, nachdem die übrigen Positionen mit einem gelernten Masken-Token aufgefüllt wurden.

Wichtigste Erkenntnisse

Der Rekonstruktionsfehler sagt den Erfolg der Policy nicht voraus: Bin und FAST rekonstruieren Aktionen gut, ergeben aber die schwächsten autoregressiven Policies.
Die Reihenfolge ist die entscheidende Zutat: Derselbe Tokenizer, ohne Nested Dropout trainiert (OAT×), fällt auf LIBERO von 56,3 % auf 35,2 % Erfolg, in manchen Fällen unter QueST.
Der Decoder muss jede Tokensequenz akzeptieren: Das Byte-Pair-Encoding von FAST kann eine Koeffizientenanzahl ausgeben, die nicht zum Action-Chunk passt und sich nicht in Aktionen umformen lässt.
Größere Codebooks sind nicht besser: Die Leistung sättigt bei mittlerer Größe und sinkt beim größten FSQ-Codebook, was die Autoren auf eine schwierigere Next-Token-Vorhersage zurückführen.
Frühe Tokens erfassen die globale Bewegung, spätere feine Korrekturen; am realen Roboter kam OAT mit weniger als 4 Tokens oft nahe ans Ziel, verfehlte aber feine Einfügungen.

Hauptergebnisse

LIBERO (libero10): OAT8 erreicht 56,3 % Erfolg gegenüber QueST 48,2 %, Diffusion Policy 36,6 %, FAST 23,0 % und Bin 14,4 % (5 Seeds × 50 Rollouts pro Aufgabe).
RoboMimic: OAT8 73,1 % gegenüber Diffusion Policy 67,1 % und QueST 66,9 %. MetaWorld: OAT8 24,4 % gegenüber 19,3 % und 17,9 %. RoboCasa: OAT8 54,6 % gegenüber 54,0 % und 52,3 %.
Der Erfolg steigt mit der Anzahl dekodierter Tokens, z. B. auf LIBERO 11,7 % (1 Token), 39,8 % (2), 46,4 % (4) und 56,3 % (8).
Latenz pro Inferenz auf einer NVIDIA A100 (LIBERO): 10,5 ms mit 1 Token und 27,4 ms mit 8, gegenüber 517,2 ms für Bin (224 Tokens) und 114,4 ms für FAST (im Mittel 44,2 Tokens).
Realer ARX-5-Arm, 20 Versuche pro Aufgabe: OAT8 war bei Pick & Place Ball 16/20 und bei Stack Cups 16/20 erfolgreich, gegenüber Diffusion Policy mit 14/20 und 11/20 sowie QueST mit 11/20 und 8/20.
Das Entfernen von Nested Dropout (OAT×) senkt den Erfolg auf allen vier Benchmarks, z. B. auf RoboMimic von 73,1 % auf 61,1 %.

Einschränkungen

Die Anzahl dekodierter Tokens ist beim Einsatz fest; die Autoren merken an, dass sie von der Komplexität jedes Chunks abhängen sollte, und lassen deren Online-Schätzung als offenes Problem.
Kurze Präfixe tauschen Präzision gegen Geschwindigkeit: Mit weniger als 4 Tokens scheiterte der reale Roboter oft an feinen Einfügungen wie dem vollständigen Ablegen des Balls in der Tasse.
Die Codebook-Größe muss abgestimmt werden: Auf LIBERO fiel der Erfolg trotz besserer Rekonstruktion von 56,3 % mit den FSQ-Stufen [8,5,5,5] auf 46,9 % mit [7,5,5,5,5].
Die Validierung in der realen Welt umfasst zwei Tischaufgaben an einem einzigen Arm mit fester Basis und einer einzelnen Webcam, mit 200 Demonstrationen und 20 Versuchen pro Aufgabe.
Der absolute Erfolg bleibt auf einigen Benchmarks niedrig (bestes MetaWorld-Ergebnis 24,4 %), und auf RoboCasa liegt OAT8 (54,6 ± 1,1 %) nahe an Diffusion Policy (54,0 ± 1,6 %).

Wirkung auf das Fachgebiet

Finalist für den RSS 2026 Outstanding Paper Award, mit 27 Zitierungen. Das Paper verlinkt eine Projektwebsite mit interaktiven Rekonstruktionen (ordered-action-tokenization.github.io); eine Code-Veröffentlichung wird nicht angegeben.

Zusammenfassung

Autoregressive Policies bieten eine überzeugende Grundlage für skalierbares Roboterlernen, indem sie diskrete Abstraktion, Schlussfolgern auf Token-Ebene und flexible Inferenz ermöglichen. Die Anwendung autoregressiver Modellierung auf kontinuierliche Roboteraktionen erfordert jedoch ein wirksames Schema zur Aktionstokenisierung. Bestehende Ansätze stützen sich entweder auf analytische Diskretisierungsmethoden, die unerschwinglich lange Tokensequenzen erzeugen, oder auf gelernte latente Tokenizer ohne Struktur, was ihre Kompatibilität mit der Next-Token-Vorhersage einschränkt. In dieser Arbeit identifizieren wir drei Anforderungen an die Aktionstokenisierung – hohe Kompression, vollständige Dekodierbarkeit und einen von links nach rechts kausal geordneten Tokenraum – und stellen Ordered Action Tokenization (OAT) vor, einen gelernten Aktions-Tokenizer, der alle drei erfüllt. OAT diskretisiert Action-Chunks mithilfe eines Transformers mit Registern, Finite Scalar Quantization und ordnungsinduzierenden Trainingsmechanismen in eine geordnete Tokensequenz. Der resultierende Tokenraum passt natürlich zur autoregressiven Generierung und ermöglicht eine präfixbasierte Detokenisierung, was einen jederzeit wählbaren (anytime) Kompromiss zwischen Inferenzkosten und Aktionstreue ergibt. Über mehr als 20 Aufgaben aus vier Simulationsbenchmarks und realen Umgebungen hinweg übertreffen mit OAT ausgestattete autoregressive Policies durchweg frühere Tokenisierungsschemata und diffusionsbasierte Baselines und bieten dabei deutlich größere Flexibilität zur Inferenzzeit.

Open Source Robotics