Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

OAT: Ordered Action Tokenization

著者: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

OAT はアクションチャンクを 8 つの順序付きトークンに圧縮し、どのプレフィックスも有効なチャンクに復号できる。これを用いた自己回帰型ポリシーは、ビニング、FAST、QueST、拡散ポリシーを上回る。

重要な理由

どのトークンプレフィックスも実行可能なチャンクに復号できるため、1 つの学習済みポリシーで実行時に速度と精度のトレードオフを選べる。LIBERO では、NVIDIA A100 上で 1 トークンの復号は推論 1 回あたり 10.5 ms、8 トークンでは 27.4 ms であり、ビニングの 517.2 ms と対照的である。アブレーションはまた、ポリシーの成功を左右するのが圧縮だけではなくトークンの順序付けであることを示しており、トークンベースのロボットポリシーを構築する誰にとっても具体的な設計指針となる。

課題

自己回帰型のロボットポリシーには、連続的な行動を離散トークンに変換する必要がある。次元ごとのビニングではチャンクあたり数百のトークンが生じ、FAST（DCT とバイトペア符号化）は有効なアクションチャンクに復号できないトークン列を生成しうる。また QueST のような学習型の潜在トークナイザはコンパクトだが順序のないトークンを与え、次トークン予測には適さない。著者は、高い圧縮率、完全な復号可能性、左から右への因果的な順序付けの 3 つすべてを備えた既存方式はないと主張している。

提案手法

OAT はオートエンコーダである。トランスフォーマーエンコーダがアクションチャンクを学習可能なレジスタトークンとともに読み込み、有限スカラー量子化（FSQ）がレジスタを離散化し、トランスフォーマーデコーダがチャンクを再構成する。レジスタ間の因果的アテンションと nested dropout（学習中、先頭からランダムな個数のトークンのみを残す）により、前方のトークンが粗い動きを担い、後方のトークンが詳細を加えるようになる。そのうえで、残りの位置を学習済みのマスクトークンで埋めれば、任意のプレフィックスを復号できる。

主な知見

  • 再構成誤差はポリシーの成功を予測しない。Bin と FAST は行動をうまく再構成するが、自己回帰型ポリシーとしては最も弱い。
  • 順序付けが決定的な要素である。nested dropout なしで学習した同じトークナイザ（OAT×）は、LIBERO での成功率が 56.3% から 35.2% に低下し、場合によっては QueST を下回る。
  • デコーダはあらゆるトークン列を受け付けなければならない。FAST のバイトペア符号化はアクションチャンクと一致しない係数の数を出力することがあり、その場合は行動に整形できない。
  • コードブックは大きければよいわけではない。性能は中程度のサイズで飽和し、最大の FSQ コードブックでは低下する。著者はこれを次トークン予測が難しくなるためとしている。
  • 前方のトークンは全体的な動きを、後方のトークンは細かな補正を捉える。実機では、4 トークン未満の OAT はしばしば目標の近くまで到達したが、精密な挿入には失敗した。

主な結果

  • LIBERO（libero10）：OAT8 の成功率は 56.3% で、QueST は 48.2%、拡散ポリシーは 36.6%、FAST は 23.0%、Bin は 14.4% であった（タスクごとに 5 シード × 50 ロールアウト）。
  • RoboMimic：OAT8 は 73.1%、拡散ポリシーは 67.1%、QueST は 66.9%。MetaWorld：OAT8 は 24.4% で、他は 19.3% と 17.9%。RoboCasa：OAT8 は 54.6% で、他は 54.0% と 52.3%。
  • 成功率は復号するトークン数とともに上昇する。例えば LIBERO では 11.7%（1 トークン）、39.8%（2）、46.4%（4）、56.3%（8）であった。
  • NVIDIA A100 1 枚での推論 1 回あたりのレイテンシ（LIBERO）：1 トークンで 10.5 ms、8 トークンで 27.4 ms。これに対し Bin（224 トークン）は 517.2 ms、FAST（平均 44.2 トークン）は 114.4 ms であった。
  • 実機 ARX-5 アームで各タスク 20 試行：OAT8 は Pick & Place Ball で 16/20、Stack Cups で 16/20 成功し、拡散ポリシーは 14/20 と 11/20、QueST は 11/20 と 8/20 であった。
  • nested dropout を除く（OAT×）と、4 つのベンチマークすべてで成功率が低下する。例えば RoboMimic では 73.1% から 61.1% に下がった。

制限事項

  • 復号するトークン数は展開時に固定されている。著者は、それは各チャンクの複雑さに応じて決まるべきだと述べ、これをオンラインで推定することを未解決の課題としている。
  • 短いプレフィックスは精度と引き換えに速度を得る。4 トークン未満では、ボールをカップに完全に入れるような精密な挿入に実機はしばしば失敗した。
  • コードブックのサイズには調整が必要である。LIBERO では、再構成は良くなったにもかかわらず、成功率は FSQ レベル [8,5,5,5] での 56.3% から [7,5,5,5,5] での 46.9% に低下した。
  • 実世界での検証は、単一の Web カメラを備えた固定ベースのアーム 1 台による 2 つの卓上タスクのみであり、タスクごとに 200 件のデモンストレーションと 20 試行を用いている。
  • 一部のベンチマークでは絶対的な成功率が低いままであり（MetaWorld での最良結果は 24.4%）、RoboCasa では OAT8（54.6 ± 1.1%）が拡散ポリシー（54.0 ± 1.6%）に近い。

分野への影響

RSS 2026 優秀論文賞の最終候補に選ばれ、被引用数は 27。論文はインタラクティブな再構成を備えたプロジェクトウェブサイト（ordered-action-tokenization.github.io）へのリンクを示しているが、コードの公開については記載していない。

概要

自己回帰型ポリシーは、離散的な抽象化、トークンレベルの推論、柔軟な推論を可能にすることで、スケーラブルなロボット学習の魅力的な基盤を提供する。しかし、連続的なロボットの行動に自己回帰モデリングを適用するには、効果的な行動トークン化の方式が必要である。既存のアプローチは、法外に長いトークン列を生み出す解析的な離散化手法に依存するか、構造を欠く学習型の潜在トークナイザに依存しており、次トークン予測との相性が制限されている。本研究では、行動トークン化に望まれる 3 つの要件、すなわち高い圧縮率、完全な復号可能性、左から右への因果的に順序付けられたトークン空間を特定し、これら 3 つすべてを満たす学習型行動トークナイザ Ordered Action Tokenization（OAT）を導入する。OAT は、レジスタ付きのトランスフォーマー、有限スカラー量子化、順序を誘導する学習メカニズムを用いて、アクションチャンクを順序付けられたトークン列に離散化する。得られるトークン空間は自己回帰生成と自然に整合し、プレフィックスに基づく逆トークン化を可能にすることで、推論コストと行動の忠実度の間に任意時点（anytime）でのトレードオフをもたらす。4 つのシミュレーションベンチマークと実世界の設定にわたる 20 以上のタスクにおいて、OAT を備えた自己回帰型ポリシーは、従来のトークン化方式や拡散ベースのベースラインを一貫して上回り、推論時に大幅に高い柔軟性を提供する。

リンク

  • arXiv 2602.04215: https://arxiv.org/abs/2602.04215
  • DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
  • PDF: https://arxiv.org/pdf/2602.04215v1
  • プロジェクトページ: https://ordered-action-tokenization.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。