OAT: Ordered Action Tokenization

Autores: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

OAT comprime un chunk de acciones en 8 tokens ordenados, y cualquier prefijo se decodifica en un chunk válido. Las políticas autorregresivas que lo usan superan a binning, FAST, QueST y diffusion policy.

Por qué importa

Como cualquier prefijo de tokens se decodifica en un chunk ejecutable, una sola política entrenada ofrece en tiempo de ejecución un compromiso entre velocidad y precisión: en LIBERO, decodificar 1 token lleva 10,5 ms por inferencia y 8 tokens 27,4 ms en una NVIDIA A100, frente a 517,2 ms del binning. Las ablaciones muestran además que el orden de los tokens, y no solo la compresión, es lo que impulsa el éxito de la política, lo que es una regla de diseño concreta para cualquiera que construya políticas robóticas basadas en tokens.

Problema

Las políticas robóticas autorregresivas necesitan convertir acciones continuas en tokens discretos. El binning por dimensión produce cientos de tokens por chunk, FAST (DCT más codificación byte-pair) puede generar secuencias de tokens que no se decodifican en un chunk de acciones válido, y los tokenizadores latentes aprendidos como QueST dan tokens compactos pero no ordenados que se adaptan mal a la predicción del siguiente token. Los autores sostienen que ningún esquema existente ofrece a la vez alta compresión, decodificabilidad total y orden causal de izquierda a derecha.

Solución propuesta

OAT es un autocodificador: un codificador de transformador lee el chunk de acciones junto con tokens de registro aprendibles, la cuantización escalar finita (FSQ) discretiza los registros y un decodificador de transformador reconstruye el chunk. La atención causal entre los registros y el nested dropout (conservar solo un número aleatorio de tokens iniciales durante el entrenamiento) hacen que los primeros tokens lleven el movimiento grueso y los posteriores añadan detalle. Así, cualquier prefijo puede decodificarse tras rellenar las posiciones restantes con un token de máscara aprendido.

Ideas clave

• El error de reconstrucción no predice el éxito de la política: Bin y FAST reconstruyen bien las acciones, pero dan las políticas autorregresivas más débiles.
• El orden es el ingrediente crítico: el mismo tokenizador entrenado sin nested dropout (OAT×) cae del 56,3 % al 35,2 % de éxito en LIBERO, en algunos casos por debajo de QueST.
• El decodificador debe aceptar cualquier secuencia de tokens: la codificación byte-pair de FAST puede emitir un número de coeficientes que no coincide con el chunk de acciones y que no puede reorganizarse en acciones.
• Los codebooks más grandes no son mejores: el rendimiento se satura con un tamaño moderado y cae con el codebook FSQ más grande, lo que los autores atribuyen a una predicción del siguiente token más difícil.
• Los primeros tokens capturan el movimiento global y los posteriores las correcciones finas; en el robot real, OAT con menos de 4 tokens a menudo se acercaba al objetivo pero fallaba en las inserciones finas.

Resultados principales

• LIBERO (libero10): OAT8 alcanza un 56,3 % de éxito frente a QueST 48,2 %, diffusion policy 36,6 %, FAST 23,0 % y Bin 14,4 % (5 semillas × 50 ejecuciones por tarea).
• RoboMimic: OAT8 73,1 % frente a diffusion policy 67,1 % y QueST 66,9 %. MetaWorld: OAT8 24,4 % frente a 19,3 % y 17,9 %. RoboCasa: OAT8 54,6 % frente a 54,0 % y 52,3 %.
• El éxito aumenta con el número de tokens decodificados, p. ej., en LIBERO 11,7 % (1 token), 39,8 % (2), 46,4 % (4) y 56,3 % (8).
• Latencia por inferencia en una NVIDIA A100 (LIBERO): 10,5 ms con 1 token y 27,4 ms con 8, frente a 517,2 ms de Bin (224 tokens) y 114,4 ms de FAST (44,2 tokens de media).
• Brazo ARX-5 real, 20 ensayos por tarea: OAT8 tuvo éxito en 16/20 en Pick & Place Ball y en 16/20 en Stack Cups, frente a diffusion policy 14/20 y 11/20, y QueST 11/20 y 8/20.
• Eliminar el nested dropout (OAT×) reduce el éxito en los cuatro benchmarks, p. ej., en RoboMimic del 73,1 % al 61,1 %.

Limitaciones

• El número de tokens decodificados se fija en el despliegue; los autores señalan que debería depender de la complejidad de cada chunk y dejan como problema abierto estimarlo en línea.
• Los prefijos cortos sacrifican precisión a cambio de velocidad: con menos de 4 tokens, el robot real a menudo fallaba en inserciones finas como meter la pelota por completo en el vaso.
• El tamaño del codebook necesita ajuste: en LIBERO, el éxito cayó del 56,3 % con niveles FSQ [8,5,5,5] al 46,9 % con [7,5,5,5,5], pese a una mejor reconstrucción.
• La validación en el mundo real abarca dos tareas de mesa en un único brazo de base fija con una sola webcam, con 200 demostraciones y 20 ensayos por tarea.
• El éxito absoluto sigue siendo bajo en algunos benchmarks (mejor resultado en MetaWorld: 24,4 %), y en RoboCasa OAT8 (54,6 ± 1,1 %) está cerca de diffusion policy (54,0 ± 1,6 %).

Impacto en el campo

Finalista del RSS 2026 Outstanding Paper Award, con 27 citas. El artículo enlaza un sitio web del proyecto con reconstrucciones interactivas (ordered-action-tokenization.github.io); no indica ninguna publicación de código.

Resumen

Las políticas autorregresivas ofrecen una base atractiva para un aprendizaje robótico escalable al permitir la abstracción discreta, el razonamiento a nivel de token y una inferencia flexible. Sin embargo, aplicar el modelado autorregresivo a acciones robóticas continuas requiere un esquema eficaz de tokenización de acciones. Los enfoques existentes se basan o bien en métodos de discretización analíticos que producen secuencias de tokens prohibitivamente largas, o bien en tokenizadores latentes aprendidos que carecen de estructura, lo que limita su compatibilidad con la predicción del siguiente token. En este trabajo identificamos tres requisitos deseables para la tokenización de acciones (alta compresión, decodificabilidad total y un espacio de tokens ordenado causalmente de izquierda a derecha) y presentamos Ordered Action Tokenization (OAT), un tokenizador de acciones aprendido que cumple los tres. OAT discretiza los chunks de acciones en una secuencia ordenada de tokens mediante un transformador con registros, cuantización escalar finita y mecanismos de entrenamiento que inducen el orden. El espacio de tokens resultante se alinea de forma natural con la generación autorregresiva y permite la destokenización basada en prefijos, lo que ofrece un compromiso en cualquier momento entre el coste de inferencia y la fidelidad de la acción. En más de 20 tareas que abarcan cuatro benchmarks de simulación y entornos del mundo real, las políticas autorregresivas equipadas con OAT superan de forma consistente a los esquemas de tokenización anteriores y a las líneas base basadas en difusión, al tiempo que ofrecen una flexibilidad significativamente mayor en el momento de la inferencia.

Enlaces

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• Página del proyecto: https://ordered-action-tokenization.github.io/