Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

作者: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

GenAug 使用以深度引導的文字到影像擴散模型，在少量真實示範中重新繪製物體、干擾物與背景，讓 CLIPort 抓取放置策略能在沒見過的場景中運作。

為何重要

一個在單一簡單環境中以 10 個示範訓練的策略，之後就能用在不同的真實場景中，而不必再蒐集更多機器人資料。物體遮罩只有示範時需要，測試時不需要。

問題

機器人學習需要大規模、多樣化的資料集，但真實世界的資料蒐集成本很高，而且許多機器人資料集來自單一設置，只有幾個小時的資料。色彩抖動、模糊與裁切等標準擴增方法涵蓋低階的外觀變化，卻不涵蓋新的干擾物、背景或物體外觀等語意變化。

提出的方法

GenAug 以附帶物體遮罩與已校正攝影機姿態的 RGBD 示範為輸入，使用一個預先訓練、以深度引導的文字到影像擴散模型，來改變同一類別內的物體紋理、先算繪來自 Google Scanned Objects 與 Free3D 的網格以替換物體類別、加入經過碰撞檢查的干擾物，並重新繪製背景。由於被抓取物體與目標的位置保持不變，原本的抓取放置動作標籤依然有效；每個示範擴增 100 次，結果用來訓練 CLIPort 策略。

關鍵見解

  • 只要物體與目標的大致位置不變，抓取放置動作在很大的視覺變化下依然有效，因此生成的影像可以沿用原本的動作標籤。
  • 在以深度引導生成之前先算繪物體網格，可讓跨類別替換保持 3D 一致；單純的影像修補常常產生不合理的影像（附錄 A）。
  • 複製貼上與隨機背景擴增能提升對新環境的強健性，但在沒見過的物體上不及 GenAug，作者將此視為物理上合理、語意上有意義的場景很重要的證據。
  • 隨著每個示範的擴增數量從 0 增加到 10、50 與 100，成功率也隨之上升（圖 11）。

主要結果

  • 真實世界，10 個任務、每個任務 10 個示範：在沒見過的環境上平均成功率 85%，在沒見過的放置目標物體上 52%，在沒見過的抓取物體上 45%（表 I，每種條件 10 個場景）。
  • 與不使用 GenAug 訓練的 CLIPort 在真實世界中的比較（表 II，每種條件 5 個場景）：沒見過的環境 80% 對 38%，沒見過的放置物體 54% 對 8%，沒見過的抓取物體 46% 對 10%。
  • 摘要與結論表示，相較於不使用 GenAug 的訓練，對新場景與新物體的泛化提升了 40%。
  • 模擬，沒見過的環境，100 個示範（表 III）：GenAug 得分 77.6（TransporterNet）與 71.9（CLIPort），加上深度的 GenAug 為 91.2 與 73.4，不使用擴增時則為 9.8 與 14.4。
  • GenAug 並不是在表 III 的每一格都是最佳方法；例如在 TransporterNet、100 個示範、沒見過的環境下，Random Background 得分 79.1，GenAug 則為 77.6。

限制

  • GenAug 不擴增動作標籤，也不推論材質、摩擦或變形；它假設原本的動作依然可行，且不會與新增的物體碰撞（作者所述）。
  • 它無法保證影片各影格之間的視覺一致性（作者所述）。
  • 擴增一個場景約需 30 秒，對同策略 RL 等方法來說可能不切實際（作者所述）。
  • 當物體與背景顏色相近、干擾物非常明亮或顏色相近，或桌上物體太多時，就會失敗。
  • 示範需要人工標註的物體遮罩、已校正的攝影機姿態，以及一個物體網格庫，而且此方法只在使用吸盤夾爪的桌面抓取放置任務上測試過。

對領域的影響

入圍 RSS 2023 最佳系統論文獎決選，被引用 165 次。官方專案頁面 genaug.github.io 連結到一個程式碼儲存庫。

摘要

機器人學習方法有潛力在任務、環境與物體之間達到廣泛的泛化。然而，這些方法需要大規模、多樣化的資料集，而在真實世界的機器人情境中蒐集這些資料的成本很高。要讓機器人學習能夠泛化，我們必須能運用機器人自身經驗以外的資料來源或先驗。在這項研究中，我們主張，在大量網路爬取資料語料上預先訓練的影像-文字生成模型，可以作為這樣的資料來源。我們證明，儘管這些生成模型大多以非機器人的資料訓練，它們仍能作為有效的途徑，把先驗注入機器人學習的過程，進而達到廣泛的泛化。具體而言，我們展示了預先訓練的生成模型如何能作為進行具語意意義之資料擴增的有效工具。藉由運用這些預先訓練的模型產生適當的「語意」資料擴增，我們提出一個能大幅提升策略泛化能力的系統 GenAug。我們將 GenAug 應用於桌面操作任務，展示了只需少量真實世界資料，就能把行為重新導向到新情境的能力。我們在真實世界的數個物體操作問題上證明了此系統的效果，在對新場景與新物體的泛化上提升了 40%。

連結

  • arXiv 2302.06671: https://arxiv.org/abs/2302.06671
  • DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
  • PDF: https://arxiv.org/pdf/2302.06671v1
  • 程式碼: https://github.com/genaug/genaug
  • 專案頁面: https://genaug.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。