OAT: Ordered Action Tokenization

Autores: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O OAT comprime um chunk de ações em 8 tokens ordenados, e qualquer prefixo é decodificado em um chunk válido. Políticas autorregressivas que o usam superam binning, FAST, QueST e diffusion policy.

Por que importa

Como qualquer prefixo de tokens é decodificado em um chunk executável, uma única política treinada oferece em tempo de execução um compromisso entre velocidade e precisão: no LIBERO, decodificar 1 token leva 10,5 ms por inferência e 8 tokens 27,4 ms em uma NVIDIA A100, contra 517,2 ms do binning. As ablações também mostram que a ordenação dos tokens, e não apenas a compressão, é o que determina o sucesso da política, o que é uma regra de projeto concreta para quem constrói políticas robóticas baseadas em tokens.

Problema

Políticas robóticas autorregressivas precisam transformar ações contínuas em tokens discretos. O binning por dimensão produz centenas de tokens por chunk, o FAST (DCT mais codificação byte-pair) pode gerar sequências de tokens que não são decodificadas em um chunk de ações válido, e tokenizadores latentes aprendidos como o QueST dão tokens compactos, mas não ordenados, que se prestam mal à predição do próximo token. Os autores argumentam que nenhum esquema existente oferece ao mesmo tempo alta compressão, decodificabilidade total e ordenação causal da esquerda para a direita.

Solução proposta

O OAT é um autoencoder: um codificador de transformador lê o chunk de ações junto com tokens registradores aprendíveis, a quantização escalar finita (FSQ) discretiza os registradores e um decodificador de transformador reconstrói o chunk. A atenção causal entre os registradores e o nested dropout (manter apenas um número aleatório de tokens iniciais durante o treinamento) fazem com que os primeiros tokens carreguem o movimento grosso e os posteriores acrescentem detalhes. Qualquer prefixo pode então ser decodificado após preencher as posições restantes com um token de máscara aprendido.

Principais ideias

O erro de reconstrução não prevê o sucesso da política: Bin e FAST reconstroem bem as ações, mas dão as políticas autorregressivas mais fracas.
A ordenação é o ingrediente crítico: o mesmo tokenizador treinado sem nested dropout (OAT×) cai de 56,3 % para 35,2 % de sucesso no LIBERO, em alguns casos abaixo do QueST.
O decodificador precisa aceitar qualquer sequência de tokens: a codificação byte-pair do FAST pode emitir uma contagem de coeficientes que não corresponde ao chunk de ações e que não pode ser remodelada em ações.
Codebooks maiores não são melhores: o desempenho satura em um tamanho moderado e cai com o maior codebook FSQ, o que os autores atribuem a uma predição do próximo token mais difícil.
Os primeiros tokens capturam o movimento global e os posteriores, correções finas; no robô real, o OAT com menos de 4 tokens muitas vezes chegou perto do objetivo, mas errou inserções finas.

Principais resultados

LIBERO (libero10): o OAT8 chega a 56,3 % de sucesso contra QueST 48,2 %, diffusion policy 36,6 %, FAST 23,0 % e Bin 14,4 % (5 sementes × 50 execuções por tarefa).
RoboMimic: OAT8 73,1 % contra diffusion policy 67,1 % e QueST 66,9 %. MetaWorld: OAT8 24,4 % contra 19,3 % e 17,9 %. RoboCasa: OAT8 54,6 % contra 54,0 % e 52,3 %.
O sucesso aumenta com o número de tokens decodificados, por exemplo no LIBERO 11,7 % (1 token), 39,8 % (2), 46,4 % (4) e 56,3 % (8).
Latência por inferência em uma NVIDIA A100 (LIBERO): 10,5 ms com 1 token e 27,4 ms com 8, contra 517,2 ms do Bin (224 tokens) e 114,4 ms do FAST (44,2 tokens em média).
Braço ARX-5 real, 20 tentativas por tarefa: o OAT8 teve sucesso em 16/20 em Pick & Place Ball e 16/20 em Stack Cups, contra diffusion policy 14/20 e 11/20, e QueST 11/20 e 8/20.
Remover o nested dropout (OAT×) reduz o sucesso nos quatro benchmarks, por exemplo no RoboMimic de 73,1 % para 61,1 %.

Limitações

O número de tokens decodificados é fixo na implantação; os autores observam que ele deveria depender da complexidade de cada chunk e deixam sua estimativa online como problema em aberto.
Prefixos curtos trocam precisão por velocidade: com menos de 4 tokens, o robô real muitas vezes falhou em inserções finas, como colocar a bola totalmente dentro do copo.
O tamanho do codebook precisa de ajuste: no LIBERO, o sucesso caiu de 56,3 % com níveis FSQ [8,5,5,5] para 46,9 % com [7,5,5,5,5], apesar de uma reconstrução melhor.
A validação no mundo real cobre duas tarefas de mesa em um único braço de base fixa com uma só webcam, usando 200 demonstrações e 20 tentativas por tarefa.
O sucesso absoluto continua baixo em alguns benchmarks (melhor resultado no MetaWorld: 24,4 %), e no RoboCasa o OAT8 (54,6 ± 1,1 %) fica perto da diffusion policy (54,0 ± 1,6 %).

Impacto na área

Finalista do RSS 2026 Outstanding Paper Award, com 27 citações. O artigo traz o link de um site do projeto com reconstruções interativas (ordered-action-tokenization.github.io); não informa a liberação de código.

Resumo

Políticas autorregressivas oferecem uma base atraente para o aprendizado robótico escalável ao permitir abstração discreta, raciocínio em nível de token e inferência flexível. No entanto, aplicar a modelagem autorregressiva a ações robóticas contínuas exige um esquema eficaz de tokenização de ações. As abordagens existentes dependem ou de métodos de discretização analíticos que produzem sequências de tokens proibitivamente longas, ou de tokenizadores latentes aprendidos que carecem de estrutura, o que limita sua compatibilidade com a predição do próximo token. Neste trabalho, identificamos três requisitos desejáveis para a tokenização de ações (alta compressão, decodificabilidade total e um espaço de tokens ordenado causalmente da esquerda para a direita) e apresentamos o Ordered Action Tokenization (OAT), um tokenizador de ações aprendido que satisfaz os três. O OAT discretiza chunks de ações em uma sequência ordenada de tokens usando um transformador com registradores, quantização escalar finita e mecanismos de treinamento que induzem a ordenação. O espaço de tokens resultante se alinha naturalmente com a geração autorregressiva e permite a destokenização baseada em prefixos, gerando um compromisso a qualquer momento entre o custo de inferência e a fidelidade da ação. Em mais de 20 tarefas abrangendo quatro benchmarks de simulação e cenários do mundo real, políticas autorregressivas equipadas com o OAT superam de forma consistente esquemas de tokenização anteriores e linhas de base baseadas em difusão, ao mesmo tempo que oferecem flexibilidade significativamente maior no momento da inferência.

Open Source Robotics