FAST: Efficient Action Tokenization for Vision-Language-Action Models
作者: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine · RSS 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
FAST 使用以離散餘弦轉換為基礎的壓縮進行機器人動作 token 化,讓自迴歸 VLA 能處理標準分箱方法無法應付的靈巧高頻控制,以低 5 倍的訓練成本達到與擴散 VLA 相當的表現。
為何重要
token 化是自迴歸機器人策略中一項關鍵卻常被忽略的設計選擇。標準的逐維度分箱在高頻靈巧任務上會失敗。FAST 以有原則的訊號處理方法解決了這個問題,而通用的 FAST+ tokenizer(以 1M 條軌跡訓練)是任何研究人員都能使用的外掛元件。它讓 pi0-FAST 能以低 5 倍的訓練成本,達到與以擴散為基礎的方法相當的表現。
問題
自迴歸 VLA 需要把連續的機器人動作 token 化為離散 token,但單純的分箱方法會在高頻靈巧控制時產生很長的 token 序列。這使推論變慢,並失去細微的動作細節,讓 VLA 只能處理簡單的低頻任務。
提出的方法
FAST 在 token 化之前對動作序列套用離散餘弦轉換(DCT)壓縮,把冗長的動作軌跡轉換成精簡的頻域表示。這大幅減少了 token 數量,同時保留靈巧操作所需的高頻動作細節。
關鍵見解
- 標準的逐維度分箱 token 化,在靈巧的高頻機器人控制上會失敗
- 離散餘弦轉換壓縮在頻域中提供高效的 token 化
- FAST+ 是在 1M 條真實機器人軌跡上預訓練的通用 tokenizer,可當作黑盒使用
- 與 pi0 結合後可擴展到 10K 小時的資料,並以快 5 倍的訓練速度達到與擴散 VLA 相當的表現
- 彌合了自迴歸(語言模型式)與以擴散為基礎的機器人動作生成之間的落差
主要結果
- 相較於逐時間步分箱,動作 token 序列長度最多縮短 10 倍
- 讓自迴歸 VLA 能執行過去以標準 token 化無法完成的靈巧任務(轉筆、雙臂操作)
- 在保有自迴歸 VLA 優點的同時,表現達到或超越基於擴散的策略
- 在多種操作任務中達到無損或近乎無損的動作重建
- 可直接相容於現有 VLA 架構,無需修改架構
限制
- DCT 壓縮假設動作序列具有可壓縮的頻率結構——面對高度不規則的動作時表現可能較差
- 最佳壓縮比因任務而異,需要調整
- 推論時多了一個解壓縮步驟,必須快到足以支援即時控制
- 主要在模擬基準測試上評估,真實世界的驗證有限
對領域的影響
FAST 解決了 VLA 模型的一個根本瓶頸——如何有效率地將連續的機器人動作 token 化以進行自迴歸生成。透過基於 DCT 的壓縮,它讓 VLA 能處理過去難以處理的高頻、高維動作空間,直接促成了 pi0 系列模型,並影響了之後所有的 VLA token 化方法。
摘要
自迴歸序列模型,例如以 Transformer 為基礎的視覺-語言-動作(VLA)策略,在捕捉複雜且可泛化的機器人行為上可以極為有效。然而,這類模型需要我們為連續的動作訊號選擇一種 token 化方式,而它決定了模型所預測的離散符號如何對應到連續的機器人動作。我們發現,目前基於簡單的逐維度、逐時間步分箱方案的機器人動作 token 化方法,在從高頻機器人資料學習靈巧技能時,通常表現不佳。為了因應這項挑戰,我們提出一種基於離散餘弦轉換、以壓縮為基礎的新機器人動作 token 化方案。我們的 token 化方法 Frequency-space Action Sequence Tokenization(FAST),讓我們能為高度靈巧與高頻的任務訓練自迴歸 VLA,而標準的離散化方法在這些任務上完全失敗。基於 FAST,我們釋出 FAST+,一個以 1M 條真實機器人動作軌跡訓練的通用機器人動作 tokenizer。
連結
- arXiv 2501.09747: https://arxiv.org/abs/2501.09747
- PDF: https://arxiv.org/pdf/2501.09747
- 程式碼: https://github.com/Physical-Intelligence/openpi
- 專案頁面: https://www.pi.website/research/fast