Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

FAST: Efficient Action Tokenization for Vision-Language-Action Models

Autori: Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine · RSS 2025

RSS 2025

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

FAST usa una compressione basata sulla trasformata discreta del coseno per la tokenizzazione delle azioni robotiche, permettendo ai VLA autoregressivi di gestire il controllo ad alta destrezza e ad alta frequenza in cui il binning standard fallisce, ed eguagliando i VLA a diffusione con un costo di addestramento 5 volte inferiore.

Perché è importante

La tokenizzazione è una scelta progettuale critica ma trascurata nelle policy robotiche autoregressive. Il binning standard per dimensione fallisce nei compiti ad alta destrezza e ad alta frequenza. FAST risolve il problema con un approccio rigoroso di elaborazione dei segnali, e il tokenizer universale FAST+ (addestrato su 1M di traiettorie) è un componente plug-in che qualsiasi ricercatore può usare. Ha permesso a pi0-FAST di eguagliare gli approcci basati sulla diffusione con un costo di addestramento 5 volte inferiore.

Problema

I VLA autoregressivi devono tokenizzare le azioni continue del robot in token discreti, ma una semplice suddivisione in intervalli produce lunghe sequenze di token per il controllo di manipolazione fine ad alta frequenza. Questo rende lenta l'inferenza e fa perdere il dettaglio fine delle azioni, limitando i VLA a compiti semplici a bassa frequenza.

Soluzione proposta

FAST applica la compressione con trasformata discreta del coseno (DCT) alle sequenze di azioni prima della tokenizzazione, convertendo lunghe traiettorie di azioni in rappresentazioni compatte nel dominio della frequenza. Questo riduce drasticamente il numero di token preservando il dettaglio ad alta frequenza delle azioni necessario per la manipolazione fine.

Idee chiave

  • La tokenizzazione con binning standard per dimensione fallisce nel controllo robotico ad alta destrezza e ad alta frequenza
  • La compressione con trasformata discreta del coseno fornisce una tokenizzazione efficiente nel dominio della frequenza
  • FAST+ è un tokenizer universale preaddestrato su 1M di traiettorie di robot reali, utilizzabile come scatola nera
  • In combinazione con pi0, scala a 10K ore di dati ed eguaglia le prestazioni dei VLA a diffusione con un addestramento 5 volte più rapido
  • Colma il divario tra la generazione di azioni robotiche autoregressiva (in stile modello linguistico) e quella basata sulla diffusione

Risultati principali

  • Riduce la lunghezza della sequenza di token di azione fino a 10 volte rispetto alla suddivisione in intervalli per ogni passo temporale
  • Permette ai VLA autoregressivi di svolgere compiti di manipolazione fine (rotazione di una penna, manipolazione bimanuale) prima impossibili con la tokenizzazione standard
  • Eguaglia o supera le prestazioni delle policy basate sulla diffusione mantenendo i vantaggi dei VLA autoregressivi
  • Ricostruzione delle azioni senza perdite o quasi su compiti di manipolazione diversi
  • Direttamente compatibile con le architetture VLA esistenti senza modifiche architetturali

Limiti

  • La compressione DCT presuppone che le sequenze di azioni abbiano una struttura in frequenza comprimibile: può rendere meno su movimenti molto irregolari
  • Il rapporto di compressione ottimale varia per compito e richiede una taratura
  • Aggiunge in inferenza un passaggio di decompressione che deve essere abbastanza veloce per il controllo in tempo reale
  • Valutazione soprattutto su benchmark in simulazione, con una convalida limitata nel mondo reale

Impatto sul settore

FAST ha risolto un collo di bottiglia fondamentale dei modelli VLA: come tokenizzare in modo efficiente le azioni continue del robot per la generazione autoregressiva. Applicando una compressione basata sulla DCT, ha permesso ai VLA di gestire spazi di azione ad alta frequenza e ad alta dimensionalità prima intrattabili, rendendo direttamente possibile la famiglia di modelli pi0 e influenzando tutti i successivi approcci di tokenizzazione dei VLA.

Abstract

I modelli di sequenza autoregressivi, come le policy Vision-Language-Action (VLA) basate su Transformer, possono essere estremamente efficaci nel catturare comportamenti robotici complessi e generalizzabili. Tuttavia, questi modelli ci richiedono di scegliere una tokenizzazione dei segnali d'azione continui, che determina come i simboli discreti predetti dal modello si traducono in azioni continue del robot. Troviamo che gli approcci attuali alla tokenizzazione delle azioni robotiche, basati su semplici schemi di binning per dimensione e per passo temporale, di solito rendono male quando si apprendono abilità ad alta destrezza da dati robotici ad alta frequenza. Per affrontare questa sfida, proponiamo un nuovo schema di tokenizzazione basato sulla compressione per le azioni robotiche, fondato sulla trasformata discreta del coseno. Il nostro approccio di tokenizzazione, Frequency-space Action Sequence Tokenization (FAST), ci permette di addestrare VLA autoregressivi per compiti ad altissima destrezza e ad alta frequenza in cui i metodi di discretizzazione standard falliscono del tutto. Sulla base di FAST, rilasciamo FAST+, un tokenizer universale di azioni robotiche, addestrato su 1M di traiettorie di azioni di robot reali.

Link

  • arXiv 2501.09747: https://arxiv.org/abs/2501.09747
  • PDF: https://arxiv.org/pdf/2501.09747
  • Codice: https://github.com/Physical-Intelligence/openpi
  • Pagina del progetto: https://www.pi.website/research/fast

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.