OAT: Ordered Action Tokenization

作者: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

OAT 將一個動作區塊壓縮成 8 個有序 token，任何前綴都能解碼成有效的動作區塊。使用 OAT 的自迴歸策略勝過分箱、FAST、QueST 與擴散策略。

為何重要

由於任何 token 前綴都能解碼為可執行的動作區塊，同一個訓練好的策略可在執行時於速度與精度之間取捨：在 LIBERO 上，以 NVIDIA A100 解碼 1 個 token 每次推論需 10.5 ms，8 個 token 需 27.4 ms，而分箱需要 517.2 ms。消融實驗也顯示，決定策略成功與否的是 token 的排序，而非僅是壓縮，這對任何打造以 token 為基礎之機器人策略的人來說，都是一條具體的設計準則。

問題

自迴歸機器人策略需要把連續動作轉換成離散 token。逐維度分箱會讓每個動作區塊產生數百個 token，FAST（DCT 加上位元組對編碼）可能產生無法解碼為有效動作區塊的 token 序列，而 QueST 等學習式潛在分詞器提供的 token 雖然精簡卻沒有順序，不太適合下一個 token 預測。作者主張，現有方案都無法同時具備高壓縮率、完全可解碼性與由左至右的因果排序。

提出的方法

OAT 是一個自編碼器：transformer 編碼器將動作區塊連同可學習的暫存器 token 一起讀入，有限純量量化（FSQ）將暫存器 token 離散化，再由 transformer 解碼器重建動作區塊。暫存器 token 之間的因果注意力以及 nested dropout（訓練時只保留隨機數量的前導 token），讓前面的 token 承載粗略的運動，後面的 token 補上細節。之後只要以學習而得的遮罩 token 填補其餘位置，就能解碼任何前綴。

關鍵見解

• 重建誤差無法預測策略的成功與否：Bin 與 FAST 能良好地重建動作，得到的自迴歸策略卻最弱。
• 排序是關鍵要素：同一個分詞器若不使用 nested dropout 訓練（OAT×），在 LIBERO 上的成功率會從 56.3% 降到 35.2%，有些情況甚至低於 QueST。
• 解碼器必須能接受每一種 token 序列：FAST 的位元組對編碼可能輸出與動作區塊不符的係數數量，因而無法重塑為動作。
• 碼本並非越大越好：效能在中等大小時就達到飽和，並在最大的 FSQ 碼本時下降，作者將此歸因於下一個 token 預測變得更困難。
• 前面的 token 捕捉整體運動，後面的 token 負責精細修正；在實體機器人上，使用少於 4 個 token 的 OAT 常能接近目標，卻無法完成精細的插入。

主要結果

• LIBERO（libero10）：OAT8 的成功率達 56.3%，QueST 為 48.2%、擴散策略為 36.6%、FAST 為 23.0%、Bin 為 14.4%（每個任務 5 個隨機種子 × 50 次 rollout）。
• RoboMimic：OAT8 為 73.1%，擴散策略為 67.1%、QueST 為 66.9%。MetaWorld：OAT8 為 24.4%，對比 19.3% 與 17.9%。RoboCasa：OAT8 為 54.6%，對比 54.0% 與 52.3%。
• 成功率隨解碼的 token 數量增加而提高，例如在 LIBERO 上為 11.7%（1 個 token）、39.8%（2 個）、46.4%（4 個）與 56.3%（8 個）。
• 在一張 NVIDIA A100 上每次推論的延遲（LIBERO）：1 個 token 為 10.5 ms，8 個 token 為 27.4 ms，Bin（224 個 token）為 517.2 ms，FAST（平均 44.2 個 token）為 114.4 ms。
• 實體 ARX-5 機器手臂，每個任務 20 次試驗：OAT8 在 Pick & Place Ball 成功 16/20、在 Stack Cups 成功 16/20，擴散策略為 14/20 與 11/20，QueST 為 11/20 與 8/20。
• 移除 nested dropout（OAT×）會降低全部四個基準上的成功率，例如 RoboMimic 從 73.1% 降至 61.1%。

限制

• 解碼的 token 數量在部署時是固定的；作者指出它應取決於每個動作區塊的複雜度，並將線上估計此數量列為尚待解決的問題。
• 短前綴是以精度換取速度：使用少於 4 個 token 時，實體機器人常無法完成精細的插入，例如把球完全放進杯子裡。
• 碼本大小需要調校：在 LIBERO 上，儘管重建效果更好，成功率仍從 FSQ 層級 [8,5,5,5] 的 56.3% 降到 [7,5,5,5,5] 的 46.9%。
• 真實世界驗證僅涵蓋在一支固定底座機器手臂上、使用單一網路攝影機進行的兩項桌面任務，每個任務使用 200 筆示範與 20 次試驗。
• 在某些基準上絕對成功率仍然偏低（MetaWorld 最佳結果為 24.4%），而在 RoboCasa 上 OAT8（54.6 ± 1.1%）與擴散策略（54.0 ± 1.6%）相當接近。

對領域的影響

入圍 RSS 2026 傑出論文獎決選，已被引用 27 次。論文附有提供互動式重建展示的專案網站連結（ordered-action-tokenization.github.io）；未說明是否釋出程式碼。

摘要

自迴歸策略能實現離散抽象、token 層級推理與彈性推論，為可擴展的機器人學習提供了極具吸引力的基礎。然而，要將自迴歸建模應用於連續的機器人動作，需要有效的動作分詞方案。現有方法若不是仰賴會產生過長 token 序列的解析式離散化方法，就是使用缺乏結構的學習式潛在分詞器，限制了它們與下一個 token 預測的相容性。在這項研究中，我們歸納出動作分詞的三項理想特性：高壓縮率、完全可解碼性，以及由左至右因果有序的 token 空間，並提出有序動作分詞（Ordered Action Tokenization, OAT），一種同時滿足這三項特性的學習式動作分詞器。OAT 使用帶有暫存器 token 的 transformer、有限純量量化，以及誘導排序的訓練機制，將動作區塊離散化為有序的 token 序列。所得的 token 空間與自迴歸生成自然契合，並支援以前綴為基礎的反分詞，在推論成本與動作擬真度之間提供隨時可調（anytime）的取捨。在涵蓋四個模擬基準與真實世界情境的 20 多項任務中，搭配 OAT 的自迴歸策略始終優於先前的分詞方案與以擴散為基礎的基準方法，同時在推論時提供明顯更大的彈性。

連結

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• 專案頁面: https://ordered-action-tokenization.github.io/