OAT: Ordered Action Tokenization

作者: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

OAT 将一个动作块压缩为 8 个有序 token，任意前缀都能解码为有效的动作块。使用它的自回归策略优于分箱、FAST、QueST 和扩散策略。

为何重要

由于任意 token 前缀都能解码为可执行的动作块，同一个训练好的策略可以在运行时在速度与精度之间进行权衡：在 LIBERO 上，使用 NVIDIA A100 时，解码 1 个 token 每次推理耗时 10.5 ms，解码 8 个 token 耗时 27.4 ms，而分箱需要 517.2 ms。消融实验还表明，决定策略成功的是 token 的排序，而不仅仅是压缩，这对任何构建基于 token 的机器人策略的人来说都是一条具体的设计准则。

问题

自回归机器人策略需要将连续动作转换为离散 token。按维度分箱会使每个动作块产生数百个 token，FAST（DCT 加字节对编码）可能生成无法解码为有效动作块的 token 序列，而 QueST 等学习型潜在分词器给出的 token 虽然紧凑却无序，不太适合下一个 token 预测。作者认为，现有方案都无法同时提供高压缩率、完全可解码性和从左到右的因果排序这三点。

提出的方法

OAT 是一个自编码器：transformer 编码器将动作块与可学习的寄存器 token 一起读入，有限标量量化（FSQ）对寄存器 token 进行离散化，再由 transformer 解码器重建动作块。寄存器 token 之间的因果注意力以及 nested dropout（训练时只保留随机数量的前导 token）使靠前的 token 承载粗略运动，靠后的 token 补充细节。随后，用一个学习得到的掩码 token 填充其余位置，即可解码任意前缀。

关键见解

• 重建误差无法预测策略的成功：Bin 和 FAST 能很好地重建动作，但得到的自回归策略却最弱。
• 排序是关键要素：同一个分词器在不使用 nested dropout 训练时（OAT×），在 LIBERO 上的成功率从 56.3% 降至 35.2%，在某些情况下低于 QueST。
• 解码器必须能接受任意 token 序列：FAST 的字节对编码可能输出与动作块不匹配的系数数量，从而无法重塑为动作。
• 码本并非越大越好：性能在中等规模时达到饱和，并在最大的 FSQ 码本上下降，作者将其归因于下一个 token 预测变得更难。
• 靠前的 token 捕捉全局运动，靠后的 token 负责精细修正；在真实机器人上，使用少于 4 个 token 的 OAT 往往能接近目标，但无法完成精细插入。

主要结果

• LIBERO（libero10）：OAT8 的成功率达到 56.3%，而 QueST 为 48.2%，扩散策略为 36.6%，FAST 为 23.0%，Bin 为 14.4%（每个任务 5 个随机种子 × 50 次 rollout）。
• RoboMimic：OAT8 为 73.1%，扩散策略为 67.1%，QueST 为 66.9%。MetaWorld：OAT8 为 24.4%，对比 19.3% 和 17.9%。RoboCasa：OAT8 为 54.6%，对比 54.0% 和 52.3%。
• 成功率随解码 token 数量的增加而提高，例如在 LIBERO 上为 11.7%（1 个 token）、39.8%（2 个）、46.4%（4 个）和 56.3%（8 个）。
• 在单块 NVIDIA A100 上每次推理的延迟（LIBERO）：1 个 token 为 10.5 ms，8 个 token 为 27.4 ms，而 Bin（224 个 token）为 517.2 ms，FAST（平均 44.2 个 token）为 114.4 ms。
• 真实 ARX-5 机械臂，每个任务 20 次试验：OAT8 在 Pick & Place Ball 上成功 16/20，在 Stack Cups 上成功 16/20，而扩散策略为 14/20 和 11/20，QueST 为 11/20 和 8/20。
• 去掉 nested dropout（OAT×）会降低全部四个基准上的成功率，例如 RoboMimic 从 73.1% 降至 61.1%。

局限

• 解码的 token 数量在部署时是固定的；作者指出它应取决于每个动作块的复杂度，并将在线估计这一数量留作开放问题。
• 短前缀以精度换取速度：使用少于 4 个 token 时，真实机器人经常无法完成精细插入，例如把球完全放进杯中。
• 码本大小需要调节：在 LIBERO 上，尽管重建效果更好，成功率仍从 FSQ 级别 [8,5,5,5] 时的 56.3% 降至 [7,5,5,5,5] 时的 46.9%。
• 真实世界验证仅涵盖在一台固定底座机械臂上、使用单个网络摄像头完成的两个桌面任务，每个任务使用 200 条示范和 20 次试验。
• 在某些基准上绝对成功率仍然较低（MetaWorld 最佳结果为 24.4%），而在 RoboCasa 上 OAT8（54.6 ± 1.1%）与扩散策略（54.0 ± 1.6%）相近。

对领域的影响

入围 RSS 2026 杰出论文奖决选，已被引用 27 次。论文提供了带有交互式重建演示的项目网站链接（ordered-action-tokenization.github.io）；未说明是否发布代码。

摘要

自回归策略通过支持离散抽象、token 级推理和灵活推理，为可扩展的机器人学习提供了一个有吸引力的基础。然而，将自回归建模应用于连续的机器人动作，需要一种有效的动作分词方案。现有方法要么依赖会产生过长 token 序列的解析离散化方法，要么依赖缺乏结构的学习型潜在分词器，从而限制了它们与下一个 token 预测的兼容性。在这项工作中，我们确定了动作分词的三个理想特性——高压缩率、完全可解码性，以及从左到右因果有序的 token 空间——并提出有序动作分词（Ordered Action Tokenization，OAT），一种同时满足这三点的学习型动作分词器。OAT 使用带寄存器 token 的 transformer、有限标量量化以及诱导排序的训练机制，将动作块离散化为有序的 token 序列。所得的 token 空间与自回归生成天然契合，并支持基于前缀的反分词，从而在推理成本与动作保真度之间实现随时可调（anytime）的权衡。在涵盖四个仿真基准和真实世界场景的 20 多个任务中，配备 OAT 的自回归策略始终优于以往的分词方案和基于扩散的基线，同时在推理时提供了显著更大的灵活性。

链接

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• 项目主页: https://ordered-action-tokenization.github.io/