Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Behavior Transformers: Cloning k modes with one stone

作者: Nur Muhammad Mahi Shafiullah, Zichen Jeff Cui, Ariuntuya Altanzaya, Lerrel Pinto · NeurIPS 2022

NeurIPS 2022

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

一個透過動作離散化與偏移校正來處理多峰示範資料的 Transformer,能從未標註的資料集中複製多樣的行為。

為何重要

大量人類示範的蒐集成本低,但其中混合了完成任務的多種方式,而且沒有獎勵標籤。標準的行為複製假設只有一種行動方式,會把各個模式平均掉;離線強化學習則需要獎勵。BeT 展示了一種簡單的做法,讓機器人策略從這類混合、未標註的資料中學習並保留不同的行為,而無需複雜的生成模型或緩慢的測試時最佳化。

問題

人類示範差異很大,包含多種行為模式,而且通常沒有獎勵標籤。離線強化學習需要獎勵標籤。以均方誤差訓練的標準行為複製假設資料只有一個模式,因此會在模式之間取平均。早期的多模態方法需要複雜的生成模型、指數級數量的動作區間、複雜的訓練或緩慢的測試時最佳化。

提出的方法

BeT 先以 k-means 對資料集中的所有動作分群。每個動作變成一個區間(最近的群集中心)加上一個連續殘差。一個小型 minGPT Transformer 讀取簡短的觀測歷史,預測每個區間的機率,並以 focal loss 訓練。另一個輸出頭為每個區間預測殘差偏移量,只在真實區間上訓練。測試時,BeT 取樣一個區間,再加上該區間的偏移量,得到連續動作。不需要獎勵標籤或模式標籤。

關鍵見解

  • 把連續動作分群到 k-means 區間中,讓 Transformer 能把多模態的動作分布建模為簡單的類別選擇。
  • 每個區間的殘差偏移量以借自物件偵測的遮罩多任務損失訓練,彌補了分區間造成的精度損失。
  • 分區間造成的精度損失隨動作空間變大而增加:拿掉偏移量在動作空間最大的 Kitchen 中影響最大。
  • 簡短的觀測歷史有幫助,因為人類行為很少是馬可夫的;拿掉歷史會使 CARLA 的表現降到 0.65。
  • Transformer 主幹很重要:換成 MLP、時間卷積或 LSTM 會降低表現,而且更難穩定訓練。

主要結果

  • 推方塊(模擬 xArm,1,000 次試行):BeT 在 0.71 的試行中把兩個方塊都推入目標;所有基線得分皆為 0。
  • Franka Kitchen(模擬,1,000 次試行):BeT 在 0.44 的試行中完成 4 項任務,最好的基線 IBC 為 0.24。
  • CARLA 駕駛(模擬,100 次試行):BeT 在 0.98 的試行中抵達目標,以些微差距落後於 LWR (1)。
  • BeT 涵蓋了資料中的各個模式:在 CARLA 中它左轉的比例為 0.34、右轉為 0.64(示範為 0.50/0.50),而多數基線只走一側。
  • 在 Kitchen 中,BeT 的任務序列熵為 2.47,示範為 2.96,IBC 為 2.41。
  • 消融實驗(相對於完整 BeT 的表現):拿掉分區間後推方塊降到 0.25;拿掉偏移量後 Kitchen 降到 0.78;LSTM 主幹得分為 0.03-0.04。
  • 在推方塊任務上,BeT 在單張桌上型 GPU 上一小時內完成訓練,IBC 則約需 14 小時;評估試行耗時 1.65 秒,IBC 為 17.70 秒。

限制

  • 所有實驗都在模擬或玩具環境中進行;作者把從真實世界的人類示範中學習視為令人期待的下一步應用。
  • 與其他行為複製方法一樣,一旦觀測超出訓練分布,BeT 就會失敗。
  • 在推方塊任務中,BeT 的主要失敗在於沒有察覺方塊尚未完全進入目標。
  • 在 Kitchen 中,BeT 走訪某些任務序列的頻率高於示範(熵 2.47 對 2.96)。
  • 從 BeT 中擷取單一模式的策略用於線上強化學習,留待未來研究。

對領域的影響

BeT 證明行為複製可以在沒有獎勵標籤的情況下,從未標註的多模態示範中學習。作者指出,未標註的資料集較容易取得,應有助於 BeT 擴展。他們也認為,若能從 BeT 擷取單一模式的策略,它可作為線上強化學習的先驗。

摘要

我們提出 Behavior Transformer(BeT),一種為具有多種模式的未標註示範資料建模的技術。我們受到物件偵測中偏移預測的啟發,透過動作離散化與多任務動作校正來修改標準的 Transformer 架構。這讓模型能預測多峰的連續動作,同時利用 Transformer 強大的序列建模能力。我們在機器人操作與自動駕駛資料集上評估 BeT,結果顯示它在任務表現以及捕捉資料集模式多樣性兩方面都優於先前的方法。一項消融研究檢驗了每個關鍵元件的貢獻。

連結

  • arXiv 2206.11251: https://arxiv.org/abs/2206.11251
  • PDF: https://arxiv.org/pdf/2206.11251.pdf
  • 程式碼: https://github.com/notmahi/bet
  • 專案頁面: https://mahis.life/bet/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。