Transformer

又稱: transformer architecture, self-attention network, attention mechanism
類別: Learning & autonomy › Foundation models
標籤: transformer, deep-learning, foundation-model

以自注意力機制為基礎的神經網路架構，現已成為機器人學習策略與多模態感知的主流骨幹。

定義

Transformer 是一種以自注意力機制為基礎的神經網路架構，已成為現代機器人學習系統的主流骨幹。Transformer 最初在 2017 年為自然語言處理而提出（論文「Attention Is All You Need」），此後徹底改變了電腦視覺、多模態推理，以及對機器人學至關重要的動作生成與具身決策。

核心機制是自注意力，它讓序列中的每個元素都能關注其他所有元素，並動態衡量它們的重要性。不同於逐步處理序列的遞迴神經網路，Transformer 平行處理整個序列，並能有效捕捉長距離依賴關係。這種平行性也讓模型能擴展到以海量資料集訓練的超大規模，也就是改變了 AI 的基礎模型範式。

在機器人學中，Transformer 出現在堆疊的每一層。視覺 Transformer（ViT）把攝影機影像切成區塊並套用自注意力來處理，取代卷積網路成為預設的視覺編碼器。決策 Transformer 把控制視為序列建模，根據觀測、動作與獎勵的歷史預測下一個動作。視覺-語言-動作（VLA）模型使用 Transformer 骨幹，同時處理視覺觀測與語言指令，直接輸出機器人動作。

影響最大的機器人應用，是讓通用機器人策略成為可能。透過把機器人控制視為序列預測（類似語言模型中的下一個詞元預測），Transformer 能從龐大而多樣的資料集中學習跨越多種任務、環境，甚至不同機器人形態的策略。這正是 RT-2、Octo、pi0 與其他機器人基礎模型背後的架構。

Transformer 也驅動擴散策略架構，其中 Transformer 作為去噪網路，把帶有雜訊的動作序列逐步精煉成精確的馬達指令。擴散過程與 Transformer 骨幹的結合，已在靈巧操作與雙臂協調任務上取得最先進的成果。

為何重要

Transformer 是讓通用機器人學習成為可能的架構創新。在 Transformer 出現之前，機器人策略通常是針對特定任務的神經網路，每種新行為都要從頭訓練。Transformer 讓擴展定律得以套用到機器人學：以更多樣的機器人資料訓練更大的 Transformer 模型，各項任務的表現就會可預測地提升。這就是為什麼從 Google 的 RT-2 到 Physical Intelligence 的 pi0，每一個主要的機器人基礎模型都使用 Transformer 骨幹。如今，了解 Transformer 架構對任何從事機器人學習的人都不可或缺，因為它是 VLA、擴散策略、世界模型以及整個通用機器人範式的基礎。

主要應用

視覺-語言-動作（VLA）模型：Transformer 同時處理影像與語言指令，並為通用機器人策略輸出動作
擴散策略：以 Transformer 為基礎的去噪網路，為操作任務產生平順、多模態的動作軌跡
決策 Transformer：一種序列建模方法，把離線強化學習視為以期望回報為條件的下一個動作預測
視覺感知：視覺 Transformer 取代 CNN 成為機器人感知的骨幹，為下游的操作與導航提供特徵
世界模型：Transformer 根據目前的觀測與規劃的動作預測環境的未來狀態，讓以模型為基礎的規劃成為可能
跨形態學習：具有詞元化動作空間的 Transformer，可以訓練出能在不同機器人硬體上運作的單一策略

實際應用

Physical Intelligence 的 pi0 系統展示了 Transformer 對機器人學的影響。pi0 建立在預訓練的視覺語言模型（VLM）PaLiGemma 之上，加上動作輸出頭，並以多樣的機器人操作資料進行微調。Transformer 骨幹透過自注意力層處理交錯排列的攝影機影像與任務描述，接著產生動作詞元序列，再解碼成機器人的關節指令。由於這個 Transformer 已用網路規模的視覺與語言資料預訓練過，它能理解「把襯衫摺好」或「把蘋果放進碗裡」之類的概念，而不需要機器人訓練資料中有完全相同的情境。同一套架構能在不同機器人平台上處理單臂與雙臂任務，Transformer 靈活的序列處理能力可以容納不同的觀測與動作維度。

常見誤解

Transformer 只用於語言處理：Transformer 已成為視覺、多模態推理與機器人控制的主流架構；它的序列建模能力能推廣到遠超出文字的領域
Transformer 需要極龐大的資料集才能運作：雖然它隨資料量擴展得很好，但微調預訓練模型與資料擴增等技術，讓 Transformer 即使只有數百次機器人示範也能發揮效果
Transformer 已取代機器人學中所有其他架構：CNN、MLP 與擴散網路依然重要；Transformer 往往與它們結合，而不是完全取代它們
Transformer 越大，機器人控制表現一定越好：機器人控制有即時性的限制，推論速度很重要；由於延遲要求，較小的蒸餾模型在部署時常常勝過較大的模型

誰需要了解

開發新操作或導航策略的機器人學習研究人員
為機器人應用微調基礎模型的 AI 工程師
研究現代感知與控制方法的機器人學學生
為即時機器人部署最佳化 Transformer 推論的機器學習工程師
評估機器人 AI 新創公司技術基礎的研究主管

影片

Transformers, the tech behind LLMs | Deep Learning Chapter 5: 3Blue1Brown
Transformers, explained: Understand the model behind GPT, BERT, and T5: Google Cloud Tech

維基百科

Transformer架构

Open Source Robotics