Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

A Generalist Agent

作者: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

Gato 把文字、影像、本體感知與動作轉成同一個 token 序列,並在 604 項任務上訓練單一個 12 億參數的 Transformer,其中包括用真實的 Sawyer 機器手臂堆疊積木。

為何重要

這篇論文顯示,一個網路、一組權重就能玩 Atari、為影像加上描述、聊天,以及用真實機器手臂堆疊積木。其機器人微調實驗檢驗這樣的通用模型能否以很少的資料適應新任務:在沒見過的積木形狀上,微調後的模型只用 10 個回合就回到專家的成功率。

問題

控制策略通常依領域個別打造,並仰賴人工設計的歸納偏置;即使是多任務代理人,通常也為每項任務保留獨立的參數。機器人資料稀少,而且只涵蓋少數幾種形態,因此每次更換硬體,都得重新收集資料並重新訓練。

提出的方法

所有資料都被序列化為一條扁平的 token 序列:SentencePiece 文字 token、由 ResNet 區塊嵌入的 16×16 影像區塊,以及經 mu-law 編碼並離散化為 1024 個區間的連續值。一個 12 億參數、僅含解碼器的 Transformer(24 層,嵌入維度 2048)以監督式的下一個 token 預測進行離線訓練,損失只計算文字與動作 token。任務的選擇不靠任務識別碼,而是以該任務的一段示範作為提示輸入模型。

關鍵見解

  • 在 7,900 萬、3.64 億與 11.8 億參數三種規模下,處理相同 token 數量時,分布內表現隨模型規模增加而提升。
  • 在保留的 cartpole.swingup 與 assembly-v2 上進行少樣本微調時,以全部資料預訓練的效果最好;只用影像與文字資料預訓練,在這些非影像任務上沒有帶來好處,甚至出現負遷移。
  • 遷移並非普遍成立:在保留的 Atari boxing 上,隨機初始化的模型勝過所有預訓練版本,作者認為原因在於 Atari 影像在視覺上與其他資料明顯不同。
  • 模型規模被限制在能即時控制真實機器人的範圍內;為了配合 20 Hz 的控制迴圈,機器人動作是在一次推論步驟中、以上下文長度 1 取樣而得。
  • 以一段成功的示範作為條件,取代了任務識別碼;作者主張,當任務共用相同的觀測與動作規格時,這種做法能排除造成「自我妄想」的干擾因素。

主要結果

  • 同一組權重在 604 項任務中的 450 多項上,得分超過專家分數的 50%。
  • 真實 Sawyer RGB Stacking 的 Skill Generalization(5 組保留的形狀三元組,每組 200 個回合):平均成功率 50.2%,單任務基準方法 BC-IMP 為 49%。
  • 真實機器人 Skill Mastery:平均成功率 75.6%,BC-IMP 為 74.6%。
  • 新的真實機器人任務「把藍色疊到綠色上」,以 500 段示範(2 小時 45 分鐘)微調:成功率 60%,而從頭訓練的行為複製基準方法為 0.5%(1/200)。
  • 在 Skill Generalization 上進行機器人微調(真實與模擬):用 10 個回合即達到專家水準,用 100 或 1000 個回合時超越專家。
  • Atari:在 23 款遊戲上達到或超過人類平均分數,在 11 款上超過人類分數的兩倍;Meta-World:45 項任務中有 44 項超過 50%;BabyAI BossLevel:75%。

限制

  • 上下文限制為 1024 個 token;每個影像觀測可能占用上百個 token,因此代理人可能只看得到少數幾個時間步,而在新環境中以提示進行的上下文學習,相較於不用提示的評估並沒有顯著提升。
  • 目前沒有網路規模的控制資料集;Gato 是以模仿學習,用專用強化學習代理人產生的資料訓練而成,作者認為取得合適的資料仍是一個開放的研究問題。
  • 在真實機器人上,即使上下文長度為 1,在 NVIDIA GeForce RTX 3090 上執行的 11.8 億參數模型,仍比 20 Hz 的控制頻率超出約 0.01 s。
  • 產生 Atari 資料的單任務強化學習代理人仍勝過 Gato,而它的聊天回覆經常流於表面或與事實不符。
  • 模型卡說明此模型不適用於商業或正式上線用途,而且除了過濾色情內容之外,並未減輕來自視覺與語言資料的偏誤。

對領域的影響

發表於 TMLR(2022 年 11 月),獲得 Featured 與 Outstanding 認證,並列入 ICLR 2024 Journal Track。Semantic Scholar 統計引用 1,203 次(2026 年 11 月 14 日)。論文附有模型卡(附錄 A),未提供程式碼或模型權重的連結。

摘要

受到大規模語言建模進展的啟發,我們以類似的方法,打造一個超越文字輸出範疇的單一通用代理人。這個代理人稱為 Gato,是一個多模態、多任務、跨形態的通用策略。同一個網路、同一組權重,就能玩 Atari、為影像加上描述、聊天、用真實機器手臂堆疊積木等等,並依據上下文決定要輸出文字、關節扭矩、按鍵操作或其他 token。在這份報告中,我們說明模型與資料,並記錄 Gato 目前的能力。

連結

  • arXiv 2205.06175: https://arxiv.org/abs/2205.06175
  • PDF: https://arxiv.org/pdf/2205.06175v3

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。