Language-Driven Representation Learning for Robotics

作者: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

Voltron 在 Something-Something-v2 上結合以語言為條件的遮罩重建與字幕生成，在一套新的、包含五個問題的機器人評估套件上，勝過資料量相同的 MVP 與 R3M。

為何重要

機器人學習需要的視覺特徵不只用於控制，也用於感知與語言接地。在預先訓練資料與模型容量相同的條件下，論文顯示預先訓練時加入語言，即使在沒有語言輸入的任務上也能改善結果，並提供一套評估套件，用來在這些問題之間比較各種表示。

問題

以人類影片預先訓練的視覺表示，例如 MVP（遮罩自編碼）與 R3M（對比學習），主要是在視覺運動控制上評估。在更廣泛的測試中，它們的表現並不一致：MVP 在抓取可供性預測上表現良好，在語言條件模仿上卻很吃力，R3M 則正好相反，在抓取可供性預測上完全失效。

提出的方法

Voltron 把影片影格與其字幕輸入一個遮罩自編碼流程，其 Transformer 編碼器將視覺與語言聯合嵌入。它以機率 α 從視覺脈絡生成字幕，而不是以字幕為條件，藉此在低階重建特徵與高階語意之間取捨；研究了三個變體：V–Cond（一個影格，α = 0）、V–Dual（兩個影格，α = 0）與 V–Gen（兩個影格，α = 0.5）。作者也建立了一套包含五個問題的評估套件：抓取可供性預測、指涉表達接地、模擬中的單一任務視覺運動控制、真實 Franka 機械手臂上的語言條件模仿，以及零樣本意圖評分。

關鍵見解

即使測試時沒有語言，以語言為條件的遮罩重建也有幫助：在抓取可供性預測上，V–Cond 勝過 R-MVP 與更大的 MVP（EgoSoup）。
沒有任何一個 Voltron 變體在所有方面都最好：意圖評分需要語言生成（V–Gen），但它會損害部分控制任務；單影格的 V–Cond 在非回合式任務上表現良好，但在控制上不及雙影格模型。
生成式語言建模比遮罩語言建模更穩定：重現的 M3AE 在前 20 個 epoch 內就把語言損失過度擬合到困惑度 1，且在每項測試的評估中得分都較低。
作者對指涉表達接地大幅提升的解釋是：在預先訓練期間於編碼器內部融合視覺與語言，而不是事後才結合分開的文字與影像編碼。
用於特徵擷取的多頭注意力池化（MAP）改善了每個 ViT 模型，而且相較於原始 MVP 研究中的擷取程序，讓視覺運動控制的成功率幾乎翻倍。

主要結果

抓取可供性預測（ARC Grasping，ViT-S）：V–Cond 在 Top-1 / Top-1% / Top-5% 精確度上得分 85.15 / 80.71 / 47.45，R-MVP 為 72.94 / 61.47 / 39.77，R-R3M 為 40.38 / 40.55 / 28.66（表 2）。
指涉表達接地（OCID-Ref，0.25 IoU 下的總準確率）：V–Cond 為 89.38，R-R3M 為 63.30，R-MVP + DistilBERT 為 49.58，CLIP ViT-B 為 68.35（表 3）。
把 V–Cond 從 ViT-S（22M 參數）擴大到 ViT-B（86M），抓取 Top-5% 精確度從 47.45 提高到 62.33，指涉表達總準確率從 89.38 提高到 90.77。
消融（表 4）：去掉語言後，抓取 Top-1% 從 80.71 降到 65.83，指涉準確率從 89.38 降到 53.44，Franka Kitchen 成功率（n = 25）從 38.2 ± 5.09 降到 33.1 ± 4.79；R-M3AE 的得分為 52.79、51.61 與 24.0 ± 4.21。
在 WHiRL 影片上的零樣本意圖評分：V–Gen 在人類與機器人影片中都能追蹤「打開水龍頭」的進度，CLIP 與 R3M 給出的分數則雜訊很大（定性結果，圖 7）。
真實機器人語言條件模仿（5 個任務，每個任務 20 個示範）：Voltron 模型的成功率最高，並且與 R-MVP 一樣對視覺干擾物保持強健；這些數字只在圖 6 中呈現。

限制

作者缺乏以原始 MVP 與 R3M 的規模進行訓練的運算資源；直接比較使用的是他們自己在 Something-Something-v2 上的重現，官方的 MVP、R3M 與 CLIP 模型被標示為無法直接比較（作者所述）。
沒有任何單一表示在所有任務上都最強；低階與高階特徵之間的取捨依然存在（作者所述）。
Franka Kitchen 控制上的絕對成功率仍然偏低；從有限資料學習閉迴路策略仍是未解問題（作者所述）。
預先訓練最多只使用雙影格脈絡，因為四個影格超出了可用記憶體，也沒有評估 α = 1（僅生成）。
意圖分數並不完美：水龍頭打開後，人類影片的分數維持在高檔，機器人影片的分數卻逐漸下降，作者無法解釋原因。

對領域的影響

入圍 RSS 2023 最佳論文獎決選，被引用 242 次。作者釋出了預先訓練的 V–Cond、V–Dual 與 V–Gen 模型（另有一個 ViT-Base V–Cond 與中間檢查點）、預先訓練與調適程式碼、包含確切訓練批次的預先處理 Something-Something-v2 資料，以及一套獨立的評估套件。

摘要

近期針對機器人的視覺表示學習研究顯示，從人類執行日常任務的大型影片資料集中學習是可行的。藉由遮罩自編碼與對比學習等方法，這些表示在轉移到視覺運動控制的策略學習時展現出很強的效果。但機器人學習涵蓋控制以外的一系列多樣問題，包括抓取可供性預測、語言條件模仿學習，以及用於人機協作的意圖評分等。首先，我們證明現有表示在這些任務上的結果並不一致：遮罩自編碼方法抓住的是低階的空間特徵，代價是犧牲高階語意，而對比學習方法則正好相反。接著，我們提出 Voltron，一個從人類影片及其相關字幕進行語言驅動表示學習的框架。Voltron 在兩者之間取捨：以語言為條件的視覺重建用來學習低階視覺模式，以視覺為依據的語言生成則用來編碼高階語意。我們也建構了一套新的評估套件，涵蓋五個不同的機器人學習問題，作為全面評估機器人視覺表示的統一平台。透過在全部五個問題上進行全面且受控的實驗，我們發現 Voltron 的語言驅動表示勝過先前的最先進方法，在需要較高階特徵的目標問題上尤其明顯。

連結

arXiv 2302.12766: https://arxiv.org/abs/2302.12766
DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
PDF: https://arxiv.org/pdf/2302.12766v1
程式碼: https://github.com/siddk/voltron-robotics
專案頁面: https://sites.google.com/view/voltron-robotics