SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention
Autori: Isabel Leal, Krzysztof Choromanski, Deepali Jain, Avinava Dubey, Jake Varley, Michael Ryoo, Yao Lu, Frederick Liu, Vikas Sindhwani, Quan Vuong, Tamas Sarlos, Ken Oslund, Karol Hausman, Kanishka Rao · ICRA 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
SARA-RT applica un «up-training» a policy robotiche Transformer già addestrate perché usino l'attenzione lineare. Un modello RT-2 da 5B è stato più veloce del 14% su TPU con un'accuratezza simile sul robot reale, e le policy di presa su nuvole di punti hanno mantenuto circa 100 ms di inferenza con qualsiasi dimensione della nuvola.
Perché è importante
Le policy robotiche Transformer sono costose da eseguire su un robot. L'articolo osserva che persino RT-1, con 35M parametri, gira al massimo a 3 Hz, e il problema peggiora con modelli da 1B+ come RT-2. SARA-RT converte una policy già addestrata in un'attenzione lineare meno costosa tramite fine-tuning. Questo rende più praticabile eseguire su un robot policy più grandi e input più lunghi, come più patch d'immagine o nuvole di punti più grandi.
Problema
L'attenzione Transformer standard ha un costo quadratico in spazio e tempo rispetto alla lunghezza dell'input. Questo rende lente le policy robotiche Transformer: RT-1, con 35M parametri, gira al massimo a 3 Hz, e il problema si aggrava con modelli da 1B+ come RT-2. L'attenzione lineare esistente ha dei limiti. I metodi a caratteristiche casuali che approssimano l'attenzione softmax convengono solo con input lunghi (di solito 4K+). Le mappe di caratteristiche semplici e veloci come ReLU o exp sono note per essere meno accurate. L'attenzione lineare di solito lascia un divario di prestazioni rispetto all'attenzione softmax.
Soluzione proposta
SARA-RT introduce l'up-training. L'attenzione softmax di una policy Transformer preaddestrata o già affinata viene sostituita con attenzione lineare, e il modello viene poi affinato sui dati del compito robotico a valle. L'attenzione lineare applica una funzione semplice (ReLU negli esperimenti con i robot) dopo proiezioni apprendibili; l'articolo la chiama Self-Adaptive Robust Attention (SARA). Poiché le proiezioni sono apprese e non casuali, la dimensione delle caratteristiche può essere uguale a quella di query e chiavi, quindi il metodo è praticabile anche per input più brevi di 1K token. In RT-2, l'attenzione lineare è stata inserita solo nell'encoder di immagini ViT.
Idee chiave
- Una policy Transformer addestrata può passare all'attenzione lineare tramite fine-tuning (up-training). Negli esperimenti con nuvole di punti, tutte le varianti di SARA si sono adattate quasi subito.
- Apprendere la proiezione prima di una semplice mappa di caratteristiche, invece di usarne una gaussiana casuale, permette all'attenzione lineare veloce di produrre schemi di attenzione praticamente indistinguibili dall'attenzione softmax nello studio di navigazione zero-shot dell'articolo.
- La teoria dell'articolo mostra che, con parametri adatti, un'attenzione lineare in stile SARA può approssimare la matrice di attenzione softmax con l'accuratezza scelta, con un numero di parametri addestrabili al più logaritmico nella dimensione della matrice di attenzione.
- Lo stesso up-training è stato applicato a due tipi di policy robotiche: un modello Vision-Language-Action da 5B (RT-2) e policy di presa su nuvole di punti (PCT).
- Il guadagno di velocità cresce con la dimensione dell'input: il modulo di attenzione smette di essere il collo di bottiglia per nuvole di punti grandi e immagini ad alta risoluzione.
Risultati principali
- Test A/B di presa su un vero braccio Kuka IIWA con 200 disposizioni casuali di oggetti: SARA-PCT ha ottenuto una ricompensa media di 0,75 contro 0,64 del Point Cloud Transformer standard. Entrambe le policy sono state addestrate in simulazione.
- Nei test di velocità, l'encoder SARA-PCT ha mantenuto un tempo di inferenza praticamente costante di circa 100 ms indipendentemente dalla dimensione della nuvola di punti, mentre il PCT standard rallentava al crescere delle nuvole.
- RT-2 con il backbone PaLI-X da 5B (un fotogramma, token d'azione): il passaggio in avanti ha richiesto 45,7 ms con SARA contro 53,2 ms con l'attenzione standard su TPU, un'accelerazione del 14%.
- Nella stessa configurazione, l'accuratezza media su sette compiti di manipolazione è stata del 65,1% per SARA-RT-2 e del 65,8% per RT-2 standard. SARA è stato migliore in quattro compiti su sette, compreso il compito di generalizzazione «diverse pick» (48% contro 33%).
- Aggiungere a SARA-RT-2 una storia di 3 fotogrammi e una nuova rappresentazione vettoriale delle azioni ha portato l'accuratezza media al 76,4%, che l'articolo descrive come un miglioramento di oltre il 12%, con il 100% di successo nelle 36 prove di presa.
- Su CPU, l'encoder SARA ViT del backbone di RT-2 è rimasto utilizzabile ad alte risoluzioni d'immagine, mentre il tempo di esecuzione del ViT standard cresceva in modo ripido.
Limiti
- In RT-2 l'attenzione lineare è stata applicata solo all'encoder di immagini ViT. La self-attention del fuser, dove interagiscono i token di immagine e di testo, ha mantenuto l'attenzione standard ed è lasciata a lavori futuri.
- Nella stessa configurazione, l'accuratezza media di SARA-RT-2 (65,1%) è stata leggermente inferiore a quella di RT-2 standard (65,8%), ed è stato peggiore in tre compiti su sette, per esempio «move» (79% contro 98%).
- La storia dei fotogrammi e la rappresentazione vettoriale delle azioni aumentano l'accuratezza ma richiedono più calcolo; l'articolo le giudica difficili da impiegare direttamente sul robot e non riporta la velocità del modello al 76,4%.
- Le immagini a più alta risoluzione, dove il vantaggio di velocità di SARA è maggiore, non sono ancora state usate per il controllo dei robot; l'articolo lo lascia a lavori futuri.
- Le valutazioni sono piccole: da 18 a 48 prove per compito di RT-2 e 200 disposizioni di oggetti nel test A/B di presa.
Impatto sul settore
Gli autori definiscono SARA-RT uno dei primi passi verso un costo praticabile per l'esecuzione di controllori robotici basati su Transformer. Offre una ricetta per rendere meno costosa l'esecuzione di policy già addestrate, dimostrata su modelli Vision-Language-Action RT-2 e su policy di presa Point Cloud Transformer. L'articolo indica che aiuta soprattutto con input più grandi, come immagini a più alta risoluzione e nuvole di punti più grandi.
Abstract
I modelli Robotics Transformer (RT) sono molto promettenti per l'apprendimento di policy robotiche universali. Tuttavia, le loro esigenze di calcolo pongono problemi di impiego. Proponiamo SARA-RT, un metodo che sfrutta la Self-Adaptive Robust Attention per convertire modelli RT preaddestrati con attenzione quadratica in varianti più efficienti ad attenzione lineare, tramite un processo che chiamiamo up-training. Nello specifico, SARA-RT usa un nuovo kernel di attenzione che preserva la qualità del modello consentendo notevoli accelerazioni dell'inferenza. Forniamo un'analisi matematica che dimostra le proprietà di preservazione della qualità del nostro approccio. Applicati a RT-2, i nostri migliori modelli SARA-RT-2 sono più precisi del 10,6% e più veloci del 14%. Applicato ai Point Cloud Transformer per l'elaborazione dei dati spaziali delle telecamere di profondità dei robot, SARA-RT ne più che raddoppia la velocità. Il nostro approccio consente un impiego pratico, a bordo del robot, di grandi modelli Vision-Language-Action che prima erano troppo costosi dal punto di vista computazionale per il controllo in tempo reale.
Link
- arXiv 2312.01990: https://arxiv.org/abs/2312.01990
- DOI 10.1109/icra57147.2024.10611597: https://doi.org/10.1109/icra57147.2024.10611597
- PDF: https://arxiv.org/pdf/2312.01990.pdf
- Pagina del progetto: https://sites.google.com/view/rtsara