R3M: A Universal Visual Representation for Robot Manipulation

作者: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

R3M 在 Ego4D 影片與其說明文字上預訓練一個凍結的 ResNet 編碼器；以它為基礎的行為複製，在 12 個模擬任務中以及在一台真實 Franka 上以 20 次示範，勝過 CLIP、MoCo 與 ImageNet 特徵。

為何重要

這個編碼器以預訓練的 ResNet18、ResNet34 與 ResNet50 權重形式釋出，只要一次呼叫就能載入，因此團隊可以用少量示範訓練以影像為基礎的操作策略，而不必為視覺部分蒐集領域內資料。真實機器人任務是在一位研究生的公寓裡學會的，每個任務各用 20 次遙控操作示範。

問題

在目標領域的資料上端到端訓練以影像為基礎的操作策略，需要大量資料，而且推廣能力差。機器人領域沒有可與 ImageNet 特徵或 BERT 相比、能下載並重複用於任何操作任務的預訓練視覺模型，而現有的機器人資料集只涵蓋有限數量的任務，最多也只在少數幾個環境中。

提出的方法

R3M 在 Ego4D（超過 3,500 小時、帶語言標註的第一人稱人類影片）上訓練一個 ResNet 影像編碼器，使用三項：時間對比損失，讓時間上相近的影格嵌入彼此接近；影片與語言對齊損失，評估從片段第一個影格到之後某個影格的變化是否符合其說明文字；以及用於取得稀疏、精簡嵌入的 L1 與 L2 懲罰。接著編碼器被凍結，下游策略以行為複製訓練，形式為一個兩層 MLP，輸入是影像嵌入與機器人本體感覺串接後的向量。

關鍵見解

• 日常的人類影片（Ego4D）可以作為機器人視覺表徵的預訓練資料，儘管其具身形態與機器人不同。
• 三個訓練項都有貢獻；移除影片與語言對齊造成的下降最大，在所有環境上的平均從 62.4% 降到 53.2%，在 Adroit 上從 65.0% 降到 45.6%。
• 光靠資料無法解釋這項提升：在 Franka Kitchen 與 Adroit 上，以相同 Ego4D 影格訓練的 MoCo 分數比 R3M 低約 10%，MVP 模型則低約 20%。
• 稀疏性懲罰在 Franka Kitchen 與 MetaWorld 上有幫助，但在 Adroit 上移除它反而稍有幫助，作者推測這是因為 Adroit 使用了較多的示範。
• 在所測試的每個相機視角與每種示範集規模下，R3M 都保持領先，而 CLIP 與 MoCo (345) 之間的排名則隨視角而改變。

主要結果

• 在 MetaWorld、Franka Kitchen 與 Adroit 的 12 個模擬任務上，R3M 的平均成功率約為 62%，比從頭訓練高 20% 以上，比 CLIP、監督式 ImageNet 與 MoCo (345) 特徵高 10% 以上。
• R3M 在全部 3 個模擬環境以及 12 個任務中的 11 個上都是最佳方法。
• 消融（Table 1，所有領域）：完整 R3M 62.4%，無裁切增強 60.4%，無 L1 懲罰 59.4%，無語言對齊 53.2%。
• 資料與目標函數的比較（Table 2）：Franka Kitchen 上 R3M 為 53.1%，以 Ego4D 訓練的 MoCo 為 42.0%，MVP 為 27.0%；Adroit 上為 65.0%、54.9% 與 51.4%。
• 真實 Franka Emika Panda，每個任務 20 次示範、10 次試驗：R3M 平均 56%，CLIP 為 24%（關抽屜 80% 對 70%、把口罩放進梳妝櫃 30% 對 10%、把萵苣放進平底鍋 60% 對 0%、推杯子 70% 對 40%、摺毛巾 40% 對 0%）。

限制

• 評估僅限於模仿學習，具體來說是少量示範下的行為複製；適合強化學習的預訓練表徵，可能與適合模仿學習的不同。
• R3M 只提供單一影格的狀態表徵；把它或其語言對應模組用於獎勵學習或任務指定，留待未來研究。
• MoCo (345) 基準的設定與 Parisi 等人的不同（本體感覺、影格堆疊），因此其數字無法在兩項研究之間直接比較。
• 真實機器人的比較只涵蓋 R3M 與 CLIP，每個任務 10 次試驗。
• 模擬成功率是每 1,000 個訓練步評估一次所達到的最佳值，並對隨機種子、視角與示範集規模取平均。

對領域的影響

被引用 541 次。作者釋出以 ResNet18、ResNet34 與 ResNet50 為骨幹的預訓練 R3M 模型，以及訓練程式碼。

摘要

我們研究在多樣的人類影片資料上預訓練的視覺表徵，如何讓下游機器人操作任務的學習更具資料效率。具體而言，我們使用 Ego4D 人類影片資料集預訓練一個視覺表徵，結合時間對比學習、影片與語言對齊，以及一個鼓勵稀疏且精簡表徵的 L1 懲罰。所得的表徵 R3M 可作為凍結的感知模組，用於下游策略學習。在一組 12 個模擬機器人操作任務上，我們發現 R3M 相較於從頭訓練，任務成功率提高了 20% 以上，相較於 CLIP 與 MoCo 等最先進的視覺表徵則提高了 10% 以上。此外，R3M 讓一支 Franka Emika Panda 手臂只需 20 次示範，就能在一間真實、雜亂的公寓中學會一系列操作任務。

連結

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• 程式碼: https://github.com/facebookresearch/r3m
• 專案頁面: https://sites.google.com/view/robot-r3m