LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

作者: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

LIBERO 是一個模擬基準，包含 130 個以語言為條件的操作任務與人類示範，用來研究機器人如何在任務之間遷移陳述性與程序性知識。

為何重要

由於其中三個套組分別隔離了空間、物體與目標知識，效能下滑可以追溯到所遺失的知識類型。實驗也挑戰了常見做法：所測試的終身學習演算法，其前向遷移低於單純的依序微調，而單純的監督式預訓練可能會損害之後的終身學習。

問題

終身學習研究大多在視覺與語言任務中探討陳述性知識（實體與概念）的遷移。機器人的決策還需要程序性知識，也就是知道如何行動；而當代理人在學習新任務後失敗時，過去沒有辦法有系統地分析它遷移或遺忘的是哪一類知識。

提出的方法

LIBERO 在 robosuite 之上以程序化方式生成任務：語言範本擷取自 Ego4D 的活動標註，PDDL 場景檔指定物體、配置與初始狀態，目標則是 On(A, B) 或 Open(X) 等述詞的合取。共提供四個套組：LIBERO-Spatial、LIBERO-Object 與 LIBERO-Goal（各 10 個任務，各自隔離一種知識類型），以及 LIBERO-100（90 個短時域任務與 10 個長時域任務），每個任務有 50 筆遙控操作示範。此研究對三種策略架構（ResNet-RNN、ResNet-T、ViT-T）與五種學習方案（依序微調、ER、EWC、PackNet 與多任務學習）進行基準測試，皆以行為克隆訓練。

關鍵見解

策略架構與終身學習演算法一樣重要：採用 Transformer 時序骨幹的架構（ResNet-T、ViT-T）平均而言遠優於 ResNet-RNN。
沒有一種視覺編碼器在所有情況下都是最好的：使用 ER 時，ResNet-T 在 LIBERO-Object 以外的所有套組上都勝過 ViT-T，作者將此歸因於 ViT 較能處理更多樣的物體。
三種終身學習演算法的前向遷移都低於依序微調；PackNet 能防止遺忘，但其每個任務的容量不斷縮減，使它在 LIBERO-Long 上表現受挫。
以 BERT、CLIP 或 GPT-2 編碼的語意豐富任務描述，相較於 Task-ID 嵌入並未帶來統計上顯著的提升。
行為克隆損失是誤導性的檢查點挑選訊號；EWC 有時損失最低卻沒有良好的成功率，因此應改用成功率。

主要結果

使用 ResNet-T 時，依序微調在每個套組上的前向遷移都是最高的：0.54（Long）、0.72（Spatial）、0.78（Object）與 0.77（Goal）。
PackNet 的遺忘最少（負向後向遷移為 0.06–0.17），並在 Spatial、Object 與 Goal 上有最佳的 AUC（0.63、0.60、0.75），但 ER 在 LIBERO-Long 上的 AUC 最佳（0.32 對 0.25）。
EWC 在各終身學習演算法中表現最差，在 LIBERO-Long 上的 AUC 為 0.02，在 Spatial 與 Goal 上為 0.06。
在 LIBERO-Long 上使用 PackNet 時，ViT-T 的 AUC 達到 0.34，ResNet-T 為 0.25，ResNet-RNN 為 0.03。
在 LIBERO-Long 上（ResNet-T 搭配 ER），各語言嵌入的前向遷移分別為 0.48（BERT）、0.52（CLIP）、0.46（GPT-2）與 0.50（Task-ID），沒有顯著差異。
結果為三個隨機種子的平均，每個任務以 50 筆示範訓練 50 個 epoch，並以 20 次 rollout 評估。

限制

作者指出：這些實驗只是初步研究，能更好處理空間與時間資訊的架構、前向遷移更佳的演算法，以及有助於終身學習的預訓練，都仍待探索。
作者指出：由於終身學習者主要向人類學習，長遠來看，保護使用者隱私可能變得至關重要。
結果取決於任務順序：ER 與 PackNet 的效能在五種順序之間有所不同，而 PackNet 的差異在統計上是顯著的。
所有任務都在 robosuite 的模擬中執行；論文並未報告實體機器人實驗。
只針對從示範進行的行為克隆做基準測試；由於稀疏獎勵的困難，強化學習被擱置。

對領域的影響

被引用 607 次（依所給數字）。論文釋出了程序化任務生成流程、總計 130 個任務的四個任務套組，以及每個任務的人類遙控操作示範，程式碼與資料集可從專案網站取得。

摘要

終身學習為建構一個在整個生命週期中持續學習與適應的通用代理人，提供了一個深具潛力的範式。傳統影像與文字領域的終身學習問題，主要涉及實體與概念等陳述性知識的遷移；與此不同，決策中的終身學習（LLDM）還必須遷移程序性知識，例如動作與行為。為了推進 LLDM 研究，我們推出 LIBERO，一個嶄新的機器人操作終身學習基準。具體而言，LIBERO 著重 LLDM 中的五個關鍵研究主題：1) 如何有效率地遷移陳述性知識、程序性知識或兩者的混合；2) 如何設計有效的策略架構，以及 3) 有效的 LLDM 演算法；4) 終身學習者對任務順序的穩健性；以及 5) 模型預訓練對 LLDM 的影響。我們開發了一套可擴充的程序化生成流程，原則上能生成無限多個任務。為了進行基準測試，我們建立了四個任務套組（共 130 個任務），用來探討上述研究主題。為了支援樣本效率高的學習，我們為所有任務提供高品質的人類遙控操作示範資料。我們大量的實驗呈現了數個富有洞見甚至出乎意料的發現：依序微調在前向遷移上勝過現有的終身學習方法；沒有任何單一視覺編碼器架構能在所有類型的知識遷移上都表現出色；而單純的監督式預訓練可能會妨礙代理人在後續 LLDM 中的表現。程式碼與資料集請見網站 https://libero-project.github.io。

連結

arXiv 2306.03310: https://arxiv.org/abs/2306.03310
DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
PDF: https://arxiv.org/pdf/2306.03310v1
程式碼: https://github.com/Lifelong-Robot-Learning/LIBERO
專案頁面: https://libero-project.github.io/