SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention
作者: Isabel Leal, Krzysztof Choromanski, Deepali Jain, Avinava Dubey, Jake Varley, Michael Ryoo, Yao Lu, Frederick Liu, Vikas Sindhwani, Quan Vuong, Tamas Sarlos, Ken Oslund, Karol Hausman, Kanishka Rao · ICRA 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
SARA-RT 對已訓練好的機器人 Transformer 策略進行「升級訓練」,讓它改用線性注意力。一個 5B 的 RT-2 模型在 TPU 上快了 14%,真實機器人上的準確率相近;點雲抓取策略在任何點雲規模下都維持約 100 ms 的推論時間。
為何重要
Transformer 機器人策略在機器人上執行的成本很高。論文指出,即使是 35M 參數的 RT-1 最多也只能以 3 Hz 執行,而對 RT-2 這類 1B+ 的模型,問題更嚴重。SARA-RT 透過微調,把已訓練好的策略轉換為成本較低的線性注意力。這讓更大的策略與更長的輸入(例如更多影像區塊或更大的點雲)在機器人上執行更為可行。
問題
標準 Transformer 注意力的空間與時間成本與輸入長度成二次關係。這讓機器人 Transformer 策略執行緩慢:35M 參數的 RT-1 最多以 3 Hz 執行,而對 RT-2 這類 1B+ 的模型,問題更加嚴重。現有的線性注意力各有缺點。逼近 softmax 注意力的隨機特徵方法只有在長輸入(通常 4K+)時才划算。ReLU 或 exp 等簡單的快速特徵映射已知精度較低。線性注意力通常與 softmax 注意力存在效能差距。
提出的方法
SARA-RT 提出升級訓練:把預訓練或已微調的 Transformer 策略中的 softmax 注意力換成線性注意力,再以下游機器人任務的資料微調模型。這種線性注意力在可學習的投影之後套用一個簡單函數(機器人實驗中為 ReLU);論文稱之為 Self-Adaptive Robust Attention (SARA)。由於投影是學習而來而非隨機,特徵維度可以等於查詢/鍵的維度,因此即使輸入短於 1K 個 token,此方法也切實可行。在 RT-2 中,線性注意力只用於 ViT 影像編碼器。
關鍵見解
- 已訓練好的 Transformer 策略可以透過微調(升級訓練)切換到線性注意力。在點雲實驗中,所有 SARA 變體幾乎立即就適應了。
- 在簡單的特徵映射之前學習投影,而不是使用隨機高斯投影,能讓快速的線性注意力產生的注意力模式,在論文的零樣本導航研究中與 softmax 注意力幾乎無法區分。
- 論文的理論顯示,在適當的參數下,SARA 式線性注意力能以選定的精度逼近 softmax 注意力矩陣,所需的可訓練參數數量至多為注意力矩陣大小的對數量級。
- 同樣的升級訓練被用於兩類機器人策略:一個 5B 的視覺-語言-動作模型 (RT-2) 與點雲抓取策略 (PCT)。
- 速度提升隨輸入規模增大:對大型點雲與高解析度影像而言,注意力模組不再是瓶頸。
主要結果
- 在真實的 Kuka IIWA 機械手臂上進行的抓取 A/B 測試,涵蓋 200 種隨機物體擺放:SARA-PCT 的平均獎勵為 0.75,一般的 Point Cloud Transformer 為 0.64。兩種策略都在模擬中訓練。
- 在速度測試中,無論點雲大小,SARA-PCT 編碼器的推論時間幾乎維持在約 100 ms,而一般的 PCT 隨點雲變大而變慢。
- 採用 5B PaLI-X 骨幹的 RT-2(單一影格,動作 token):在 TPU 上,使用 SARA 的前向傳遞耗時 45.7 ms,一般注意力為 53.2 ms,加速 14%。
- 在相同設定下,七項操作任務的平均準確率 SARA-RT-2 為 65.1%,一般 RT-2 為 65.8%。SARA 在七項任務中的四項較佳,包括泛化任務「diverse pick」(48% 對 33%)。
- 為 SARA-RT-2 加入 3 個影格的歷史與新的向量動作表示後,平均準確率升至 76.4%,論文稱之為 12%+ 的提升,並在 36 次抓取試驗中全部成功 (100%)。
- 在 CPU 上,RT-2 骨幹的 SARA ViT 編碼器在高影像解析度下仍然可行,而一般 ViT 的執行時間則急遽增加。
限制
- 在 RT-2 中,線性注意力只用於 ViT 影像編碼器。影像與文字 token 互動的融合器自注意力仍使用一般注意力,留待未來研究。
- 在相同設定下,SARA-RT-2 的平均準確率 (65.1%) 略低於一般 RT-2 (65.8%),並在七項任務中的三項較差,例如「move」(79% 對 98%)。
- 影格歷史與向量動作表示能提高準確率,但運算需求更高;論文稱其難以直接部署到機器人上,也未報告 76.4% 模型的速度。
- SARA 速度優勢最大的高解析度影像尚未用於機器人控制;論文將此留待未來研究。
- 評估規模不大:每項 RT-2 任務 18 到 48 次試驗,抓取 A/B 測試 200 種物體擺放。
對領域的影響
作者稱 SARA-RT 是邁向以 Transformer 為基礎的機器人控制器實際執行成本的首批步驟之一。它提供了一套讓現有已訓練策略執行成本更低的做法,並在 RT-2 視覺-語言-動作模型與 Point Cloud Transformer 抓取策略上獲得驗證。論文指出,它對更大的輸入(例如更高解析度的影像與更大的點雲)幫助最大。
摘要
Robotics Transformer(RT)模型在學習通用機器人策略上展現極大潛力。然而,它們的運算需求為部署帶來挑戰。我們提出 SARA-RT,一種利用 Self-Adaptive Robust Attention,透過我們稱為 up-training 的過程,將採用二次注意力的預訓練 RT 模型轉換成更高效之線性注意力變體的方法。具體而言,SARA-RT 使用一種新穎的注意力核,能在保持模型品質的同時大幅加快推論。我們提供數學分析,證明這個方法具有保持品質的性質。應用於 RT-2 時,我們最佳的 SARA-RT-2 模型準確率高出 10.6%,速度快 14%。應用於處理機器人深度攝影機空間資料的 Point Cloud Transformers 時,SARA-RT 使其速度提升超過一倍。我們的方法讓過去運算成本太高、無法用於即時控制的大型視覺語言動作模型,得以實際部署在機器人上。
連結
- arXiv 2312.01990: https://arxiv.org/abs/2312.01990
- DOI 10.1109/icra57147.2024.10611597: https://doi.org/10.1109/icra57147.2024.10611597
- PDF: https://arxiv.org/pdf/2312.01990.pdf
- 專案頁面: https://sites.google.com/view/rtsara