Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

FAST: Efficient Action Tokenization for Vision-Language-Action Models

作者: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine · RSS 2025

RSS 2025

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

FAST 使用以離散餘弦轉換為基礎的壓縮進行機器人動作 token 化,讓自迴歸 VLA 能處理標準分箱方法無法應付的靈巧高頻控制,以低 5 倍的訓練成本達到與擴散 VLA 相當的表現。

為何重要

token 化是自迴歸機器人策略中一項關鍵卻常被忽略的設計選擇。標準的逐維度分箱在高頻靈巧任務上會失敗。FAST 以有原則的訊號處理方法解決了這個問題,而通用的 FAST+ tokenizer(以 1M 條軌跡訓練)是任何研究人員都能使用的外掛元件。它讓 pi0-FAST 能以低 5 倍的訓練成本,達到與以擴散為基礎的方法相當的表現。

問題

自迴歸 VLA 需要把連續的機器人動作 token 化為離散 token,但單純的分箱方法會在高頻靈巧控制時產生很長的 token 序列。這使推論變慢,並失去細微的動作細節,讓 VLA 只能處理簡單的低頻任務。

提出的方法

FAST 在 token 化之前對動作序列套用離散餘弦轉換(DCT)壓縮,把冗長的動作軌跡轉換成精簡的頻域表示。這大幅減少了 token 數量,同時保留靈巧操作所需的高頻動作細節。

關鍵見解

  • 標準的逐維度分箱 token 化,在靈巧的高頻機器人控制上會失敗
  • 離散餘弦轉換壓縮在頻域中提供高效的 token 化
  • FAST+ 是在 1M 條真實機器人軌跡上預訓練的通用 tokenizer,可當作黑盒使用
  • 與 pi0 結合後可擴展到 10K 小時的資料,並以快 5 倍的訓練速度達到與擴散 VLA 相當的表現
  • 彌合了自迴歸(語言模型式)與以擴散為基礎的機器人動作生成之間的落差

主要結果

  • 相較於逐時間步分箱,動作 token 序列長度最多縮短 10 倍
  • 讓自迴歸 VLA 能執行過去以標準 token 化無法完成的靈巧任務(轉筆、雙臂操作)
  • 在保有自迴歸 VLA 優點的同時,表現達到或超越基於擴散的策略
  • 在多種操作任務中達到無損或近乎無損的動作重建
  • 可直接相容於現有 VLA 架構,無需修改架構

限制

  • DCT 壓縮假設動作序列具有可壓縮的頻率結構——面對高度不規則的動作時表現可能較差
  • 最佳壓縮比因任務而異,需要調整
  • 推論時多了一個解壓縮步驟,必須快到足以支援即時控制
  • 主要在模擬基準測試上評估,真實世界的驗證有限

對領域的影響

FAST 解決了 VLA 模型的一個根本瓶頸——如何有效率地將連續的機器人動作 token 化以進行自迴歸生成。透過基於 DCT 的壓縮,它讓 VLA 能處理過去難以處理的高頻、高維動作空間,直接促成了 pi0 系列模型,並影響了之後所有的 VLA token 化方法。

摘要

自迴歸序列模型,例如以 Transformer 為基礎的視覺-語言-動作(VLA)策略,在捕捉複雜且可泛化的機器人行為上可以極為有效。然而,這類模型需要我們為連續的動作訊號選擇一種 token 化方式,而它決定了模型所預測的離散符號如何對應到連續的機器人動作。我們發現,目前基於簡單的逐維度、逐時間步分箱方案的機器人動作 token 化方法,在從高頻機器人資料學習靈巧技能時,通常表現不佳。為了因應這項挑戰,我們提出一種基於離散餘弦轉換、以壓縮為基礎的新機器人動作 token 化方案。我們的 token 化方法 Frequency-space Action Sequence Tokenization(FAST),讓我們能為高度靈巧與高頻的任務訓練自迴歸 VLA,而標準的離散化方法在這些任務上完全失敗。基於 FAST,我們釋出 FAST+,一個以 1M 條真實機器人動作軌跡訓練的通用機器人動作 tokenizer。

連結

  • arXiv 2501.09747: https://arxiv.org/abs/2501.09747
  • PDF: https://arxiv.org/pdf/2501.09747
  • 程式碼: https://github.com/Physical-Intelligence/openpi
  • 專案頁面: https://www.pi.website/research/fast

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。