OAT: Ordered Action Tokenization

Auteurs: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

OAT compresse un chunk d'actions en 8 tokens ordonnés, et tout préfixe se décode en un chunk valide. Les politiques autorégressives qui l'utilisent battent le binning, FAST, QueST et la diffusion policy.

Pourquoi c'est important

Comme tout préfixe de tokens se décode en un chunk exécutable, une seule politique entraînée offre à l'exécution un compromis entre vitesse et précision : sur LIBERO, décoder 1 token prend 10,5 ms par inférence et 8 tokens 27,4 ms sur une NVIDIA A100, contre 517,2 ms pour le binning. Les ablations montrent aussi que c'est l'ordre des tokens, et non la seule compression, qui détermine le succès de la politique, ce qui constitue une règle de conception concrète pour quiconque construit des politiques robotiques à base de tokens.

Problème

Les politiques robotiques autorégressives nécessitent de transformer des actions continues en tokens discrets. Le binning par dimension produit des centaines de tokens par chunk, FAST (DCT plus byte-pair encoding) peut générer des séquences de tokens qui ne se décodent pas en un chunk d'actions valide, et les tokeniseurs latents appris comme QueST donnent des tokens compacts mais non ordonnés, mal adaptés à la prédiction du token suivant. Les auteurs soutiennent qu'aucun schéma existant n'offre à la fois forte compression, décodabilité totale et ordre causal de gauche à droite.

Solution proposée

OAT est un autoencodeur : un encodeur transformer lit le chunk d'actions avec des tokens registres apprenables, une quantification scalaire finie (FSQ) discrétise les registres et un décodeur transformer reconstruit le chunk. Une attention causale entre registres et le nested dropout (ne conserver pendant l'entraînement qu'un nombre aléatoire de tokens de tête) font porter le mouvement grossier par les premiers tokens, les suivants ajoutant les détails. Tout préfixe peut alors être décodé après avoir complété les positions restantes par un token de masque appris.

Idées clés

• L'erreur de reconstruction ne prédit pas le succès de la politique : Bin et FAST reconstruisent bien les actions mais donnent les politiques autorégressives les plus faibles.
• L'ordre est l'ingrédient décisif : le même tokeniseur entraîné sans nested dropout (OAT×) passe de 56,3 % à 35,2 % de réussite sur LIBERO, dans certains cas sous QueST.
• Le décodeur doit accepter toute séquence de tokens : le byte-pair encoding de FAST peut produire un nombre de coefficients qui ne correspond pas au chunk d'actions et ne peut être remis en forme d'actions.
• Des codebooks plus grands ne sont pas meilleurs : la performance plafonne à une taille modérée et baisse avec le plus grand codebook FSQ, ce que les auteurs attribuent à une prédiction du token suivant plus difficile.
• Les premiers tokens capturent le mouvement global et les suivants les corrections fines ; sur le robot réel, OAT avec moins de 4 tokens arrivait souvent près du but mais manquait les insertions fines.

Principaux résultats

• LIBERO (libero10) : OAT8 atteint 56,3 % de réussite contre QueST 48,2 %, diffusion policy 36,6 %, FAST 23,0 % et Bin 14,4 % (5 graines × 50 rollouts par tâche).
• RoboMimic : OAT8 73,1 % contre diffusion policy 67,1 % et QueST 66,9 %. MetaWorld : OAT8 24,4 % contre 19,3 % et 17,9 %. RoboCasa : OAT8 54,6 % contre 54,0 % et 52,3 %.
• La réussite augmente avec le nombre de tokens décodés, par ex. sur LIBERO 11,7 % (1 token), 39,8 % (2), 46,4 % (4) et 56,3 % (8).
• Latence par inférence sur une NVIDIA A100 (LIBERO) : 10,5 ms avec 1 token et 27,4 ms avec 8, contre 517,2 ms pour Bin (224 tokens) et 114,4 ms pour FAST (44,2 tokens en moyenne).
• Bras ARX-5 réel, 20 essais par tâche : OAT8 a réussi 16/20 sur Pick & Place Ball et 16/20 sur Stack Cups, contre 14/20 et 11/20 pour diffusion policy, et 11/20 et 8/20 pour QueST.
• Supprimer le nested dropout (OAT×) réduit la réussite sur les quatre benchmarks, par ex. sur RoboMimic de 73,1 % à 61,1 %.

Limites

• Le nombre de tokens décodés est fixé au déploiement ; les auteurs notent qu'il devrait dépendre de la complexité de chaque chunk et laissent son estimation en ligne comme problème ouvert.
• Les préfixes courts échangent la précision contre la vitesse : avec moins de 4 tokens, le robot réel échouait souvent aux insertions fines comme placer entièrement la balle dans la tasse.
• La taille du codebook doit être réglée : sur LIBERO, la réussite est passée de 56,3 % avec les niveaux FSQ [8,5,5,5] à 46,9 % avec [7,5,5,5,5] malgré une meilleure reconstruction.
• La validation en conditions réelles porte sur deux tâches sur table avec un seul bras à base fixe et une seule webcam, avec 200 démonstrations et 20 essais par tâche.
• La réussite absolue reste faible sur certains benchmarks (meilleur résultat MetaWorld 24,4 %), et sur RoboCasa OAT8 (54,6 ± 1,1 %) est proche de diffusion policy (54,0 ± 1,6 %).

Impact sur le domaine

Finaliste du RSS 2026 Outstanding Paper Award, avec 27 citations. L'article renvoie vers un site web du projet avec des reconstructions interactives (ordered-action-tokenization.github.io) ; il ne mentionne pas de publication du code.

Résumé

Les politiques autorégressives offrent une base convaincante pour un apprentissage robotique à grande échelle, en permettant l'abstraction discrète, le raisonnement au niveau des tokens et une inférence flexible. Cependant, appliquer la modélisation autorégressive aux actions continues des robots nécessite un schéma efficace de tokenisation des actions. Les approches existantes reposent soit sur des méthodes de discrétisation analytiques qui produisent des séquences de tokens prohibitivement longues, soit sur des tokeniseurs latents appris dépourvus de structure, ce qui limite leur compatibilité avec la prédiction du token suivant. Dans ce travail, nous identifions trois propriétés souhaitables pour la tokenisation des actions – une forte compression, une décodabilité totale et un espace de tokens ordonné causalement de gauche à droite – et présentons Ordered Action Tokenization (OAT), un tokeniseur d'actions appris qui satisfait les trois. OAT discrétise les chunks d'actions en une séquence ordonnée de tokens à l'aide d'un transformer avec registres, d'une quantification scalaire finie et de mécanismes d'entraînement induisant un ordre. L'espace de tokens obtenu s'aligne naturellement sur la génération autorégressive et permet une détokenisation à partir de préfixes, offrant un compromis à tout moment (anytime) entre coût d'inférence et fidélité des actions. Sur plus de 20 tâches couvrant quatre benchmarks de simulation et des contextes réels, les politiques autorégressives dotées d'OAT surpassent systématiquement les schémas de tokenisation antérieurs et les références à base de diffusion, tout en offrant une flexibilité nettement plus grande au moment de l'inférence.

Liens

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• Page du projet: https://ordered-action-tokenization.github.io/