OAT: Ordered Action Tokenization

Autori: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

OAT comprime un action chunk in 8 token ordinati, e qualsiasi prefisso si decodifica in un chunk valido. Le policy autoregressive che lo usano battono binning, FAST, QueST e diffusion policy.

Perché è importante

Poiché qualsiasi prefisso di token si decodifica in un chunk eseguibile, un'unica policy addestrata offre in fase di esecuzione un compromesso tra velocità e precisione: su LIBERO, decodificare 1 token richiede 10,5 ms per inferenza e 8 token 27,4 ms su una NVIDIA A100, contro 517,2 ms del binning. Le ablazioni mostrano inoltre che è l'ordinamento dei token, e non la sola compressione, a determinare il successo della policy, una regola di progettazione concreta per chiunque costruisca policy robotiche basate su token.

Problema

Le policy robotiche autoregressive richiedono che le azioni continue siano trasformate in token discreti. Il binning per dimensione produce centinaia di token per chunk, FAST (DCT più codifica byte-pair) può generare sequenze di token che non si decodificano in un action chunk valido, e i tokenizzatori latenti appresi come QueST danno token compatti ma non ordinati, poco adatti alla predizione del token successivo. Gli autori sostengono che nessuno schema esistente offra insieme alta compressione, decodificabilità totale e ordinamento causale da sinistra a destra.

Soluzione proposta

OAT è un autoencoder: un encoder transformer legge l'action chunk insieme a token di registro apprendibili, la quantizzazione scalare finita (FSQ) discretizza i registri e un decoder transformer ricostruisce il chunk. L'attenzione causale tra i registri e il nested dropout (mantenere durante l'addestramento solo un numero casuale di token iniziali) fanno sì che i primi token portino il movimento grossolano e quelli successivi aggiungano dettagli. Qualsiasi prefisso può quindi essere decodificato dopo aver riempito le posizioni restanti con un token maschera appreso.

Idee chiave

• L'errore di ricostruzione non predice il successo della policy: Bin e FAST ricostruiscono bene le azioni ma danno le policy autoregressive più deboli.
• L'ordinamento è l'ingrediente critico: lo stesso tokenizzatore addestrato senza nested dropout (OAT×) scende dal 56,3 % al 35,2 % di successo su LIBERO, in alcuni casi al di sotto di QueST.
• Il decoder deve accettare ogni sequenza di token: la codifica byte-pair di FAST può emettere un numero di coefficienti che non corrisponde all'action chunk e che non può essere rimodellato in azioni.
• Codebook più grandi non sono migliori: le prestazioni si saturano a una dimensione moderata e calano con il codebook FSQ più grande, cosa che gli autori attribuiscono a una predizione del token successivo più difficile.
• I primi token catturano il movimento globale e quelli successivi le correzioni fini; sul robot reale, OAT con meno di 4 token si avvicinava spesso all'obiettivo ma falliva gli inserimenti di precisione.

Risultati principali

• LIBERO (libero10): OAT8 raggiunge il 56,3 % di successo contro QueST 48,2 %, diffusion policy 36,6 %, FAST 23,0 % e Bin 14,4 % (5 seed × 50 rollout per task).
• RoboMimic: OAT8 73,1 % contro diffusion policy 67,1 % e QueST 66,9 %. MetaWorld: OAT8 24,4 % contro 19,3 % e 17,9 %. RoboCasa: OAT8 54,6 % contro 54,0 % e 52,3 %.
• Il successo cresce con il numero di token decodificati, ad es. su LIBERO 11,7 % (1 token), 39,8 % (2), 46,4 % (4) e 56,3 % (8).
• Latenza per inferenza su una NVIDIA A100 (LIBERO): 10,5 ms con 1 token e 27,4 ms con 8, contro 517,2 ms per Bin (224 token) e 114,4 ms per FAST (44,2 token in media).
• Braccio ARX-5 reale, 20 prove per task: OAT8 è riuscito 16/20 in Pick & Place Ball e 16/20 in Stack Cups, contro diffusion policy 14/20 e 11/20, e QueST 11/20 e 8/20.
• Rimuovere il nested dropout (OAT×) riduce il successo su tutti e quattro i benchmark, ad es. su RoboMimic dal 73,1 % al 61,1 %.

Limiti

• Il numero di token decodificati è fissato al momento della distribuzione; gli autori osservano che dovrebbe dipendere dalla complessità di ciascun chunk e lasciano come problema aperto la sua stima online.
• I prefissi brevi sacrificano la precisione a favore della velocità: con meno di 4 token il robot reale falliva spesso inserimenti di precisione come mettere completamente la pallina nel bicchiere.
• La dimensione del codebook va regolata: su LIBERO il successo è sceso dal 56,3 % con livelli FSQ [8,5,5,5] al 46,9 % con [7,5,5,5,5], nonostante una ricostruzione migliore.
• La validazione reale riguarda due task da tavolo su un unico braccio a base fissa con una sola webcam, con 200 dimostrazioni e 20 prove per task.
• Il successo assoluto resta basso su alcuni benchmark (miglior risultato su MetaWorld 24,4 %), e su RoboCasa OAT8 (54,6 ± 1,1 %) è vicino a diffusion policy (54,0 ± 1,6 %).

Impatto sul settore

Finalista al RSS 2026 Outstanding Paper Award, con 27 citazioni. L'articolo rimanda a un sito web del progetto con ricostruzioni interattive (ordered-action-tokenization.github.io); non indica un rilascio del codice.

Abstract

Le policy autoregressive offrono una base convincente per un apprendimento robotico scalabile, poiché consentono astrazione discreta, ragionamento a livello di token e inferenza flessibile. Tuttavia, applicare la modellazione autoregressiva ad azioni robotiche continue richiede uno schema efficace di tokenizzazione delle azioni. Gli approcci esistenti si basano o su metodi di discretizzazione analitici che producono sequenze di token proibitivamente lunghe, o su tokenizzatori latenti appresi privi di struttura, il che ne limita la compatibilità con la predizione del token successivo. In questo lavoro individuiamo tre requisiti desiderabili per la tokenizzazione delle azioni (alta compressione, decodificabilità totale e uno spazio dei token ordinato causalmente da sinistra a destra) e introduciamo Ordered Action Tokenization (OAT), un tokenizzatore di azioni appreso che li soddisfa tutti e tre. OAT discretizza gli action chunk in una sequenza ordinata di token usando un transformer con registri, la quantizzazione scalare finita e meccanismi di addestramento che inducono l'ordinamento. Lo spazio dei token risultante si allinea naturalmente con la generazione autoregressiva e consente la detokenizzazione basata su prefissi, offrendo un compromesso anytime tra costo di inferenza e fedeltà dell'azione. In oltre 20 task che coprono quattro benchmark di simulazione e contesti reali, le policy autoregressive dotate di OAT superano costantemente gli schemi di tokenizzazione precedenti e le baseline basate sulla diffusione, offrendo al contempo una flessibilità significativamente maggiore al momento dell'inferenza.

Link

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• Pagina del progetto: https://ordered-action-tokenization.github.io/