Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

著者: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

LIBERO は、人間のデモ付きの言語条件付き操作タスク 130 個からなるシミュレーションベンチマークであり、ロボットが宣言的知識と手続き的知識をタスク間でどう転移するかを調べるために作られた。

重要な理由

3 つのスイートが空間、物体、目標の知識をそれぞれ切り分けているため、性能の低下を失われた知識の種類までたどることができる。実験は一般的な慣行にも疑問を投げかけている。検証した生涯学習アルゴリズムは単純な逐次ファインチューニングよりも前方転移が低く、素朴な教師あり事前学習はその後の生涯学習を損なうことがあった。

課題

生涯学習の研究は、主に視覚や言語のタスクにおける宣言的知識（実体と概念）の転移を扱ってきた。ロボットの意思決定には、どう行動するかを知るという手続き的知識も必要であり、エージェントが新しいタスクを学習した後に失敗したとき、どの種類の知識を転移し、どれを忘れたのかを体系的に分析する方法はなかった。

提案手法

LIBERO は robosuite 上でタスクを手続き的に生成する。言語テンプレートは Ego4D の活動アノテーションから抽出し、PDDL のシーンファイルで物体、配置、初期状態を指定し、目標は On(A, B) や Open(X) のような述語の連言とする。4 つのスイートが提供される：LIBERO-Spatial、LIBERO-Object、LIBERO-Goal（各 10 タスクで、それぞれ 1 種類の知識を切り分ける）と LIBERO-100（短いホライズンのタスク 90 個と長いホライズンのタスク 10 個）で、タスクごとに遠隔操作によるデモが 50 件ある。本研究では 3 つの方策アーキテクチャ（ResNet-RNN、ResNet-T、ViT-T）と 5 つの学習方式（逐次ファインチューニング、ER、EWC、PackNet、マルチタスク学習）を、行動クローニングで学習させてベンチマークする。

主な知見

  • 方策アーキテクチャは生涯学習アルゴリズムと同じくらい重要である。トランスフォーマーによる時系列バックボーン（ResNet-T、ViT-T）は、平均して ResNet-RNN よりはるかに良好だった。
  • すべての場面で最良の視覚エンコーダはなかった。ER では、LIBERO-Object を除くすべてのスイートで ResNet-T が ViT-T を上回った。著者らはこれを、ViT がより多様な物体を扱えることと結びつけている。
  • 3 つの生涯学習アルゴリズムはいずれも逐次ファインチューニングより前方転移が低かった。PackNet は忘却を防ぐが、タスクあたりの容量が縮小していくため LIBERO-Long では不利になった。
  • BERT、CLIP、GPT-2 で符号化した意味的に豊かなタスク記述は、Task-ID 埋め込みに対して統計的に有意な向上をもたらさなかった。
  • 行動クローニングの損失はチェックポイント選択の指標として誤解を招く。EWC は良好な成功率を伴わずに損失が最小となることがあったため、成功率を用いるべきである。

主な結果

  • ResNet-T では、逐次ファインチューニングがすべてのスイートで最も高い前方転移を示した：0.54（Long）、0.72（Spatial）、0.78（Object）、0.77（Goal）。
  • PackNet は忘却が最も少なく（負の後方転移 0.06–0.17）、Spatial、Object、Goal で最良の AUC（0.63、0.60、0.75）を示したが、LIBERO-Long では ER の AUC が最良だった（0.32 対 0.25）。
  • EWC は生涯学習アルゴリズムの中で最も性能が低く、AUC は LIBERO-Long で 0.02、Spatial と Goal で 0.06 だった。
  • LIBERO-Long で PackNet を用いると、ViT-T の AUC は 0.34 に達し、ResNet-T は 0.25、ResNet-RNN は 0.03 だった。
  • LIBERO-Long での言語埋め込み（ResNet-T と ER）による前方転移は、0.48（BERT）、0.52（CLIP）、0.46（GPT-2）、0.50（Task-ID）で、有意な差はなかった。
  • 結果は 3 つのシードの平均であり、各タスクは 50 件のデモで 50 エポック学習し、20 回のロールアウトで評価した。

制限事項

  • 著者らによる：実験は初期的な研究であり、空間・時間情報のためのより良いアーキテクチャ、前方転移のより良いアルゴリズム、生涯学習に役立つ事前学習は未解決のままである。
  • 著者らによる：生涯学習器は主に人間から学ぶため、長期的にはユーザのプライバシー保護が重要になりうる。
  • 結果はタスクの順序に依存する。ER と PackNet の性能は 5 通りの順序で変動し、PackNet ではその差が統計的に有意だった。
  • すべてのタスクは robosuite 上のシミュレーションで実行されており、論文は実機実験を報告していない。
  • ベンチマークの対象はデモからの行動クローニングのみであり、強化学習は疎な報酬の難しさのため対象外とされている。

分野への影響

被引用数は 607（示された数値どおり）。論文は手続き的タスク生成パイプライン、合計 130 タスクからなる 4 つのタスクスイート、全タスクの人間による遠隔操作デモを公開しており、コードとデータセットはプロジェクトのウェブサイトからリンクされている。

概要

生涯学習は、生涯にわたって学習し適応する汎用エージェントを構築するための有望なパラダイムを提供する。主に実体や概念についての宣言的知識の転移を扱う画像やテキスト領域の従来の生涯学習問題とは異なり、意思決定における生涯学習（LLDM）では、行動や振る舞いといった手続き的知識の転移も必要となる。LLDM の研究を進めるため、ロボットマニピュレーションのための新しい生涯学習ベンチマーク LIBERO を導入する。具体的には、LIBERO は LLDM における 5 つの主要な研究テーマに焦点を当てる：1) 宣言的知識、手続き的知識、あるいはその両方の混合をいかに効率よく転移するか、2) 効果的な方策アーキテクチャと 3) LLDM のための効果的なアルゴリズムをいかに設計するか、4) タスクの順序に対する生涯学習器の頑健性、5) LLDM に対するモデルの事前学習の効果。原理的には無限に多くのタスクを生成できる拡張可能な手続き的生成パイプラインを開発した。ベンチマークのために 4 つのタスクスイート（合計 130 タスク）を作成し、上記の研究テーマの調査に用いる。サンプル効率の高い学習を支えるため、すべてのタスクについて人間の遠隔操作による高品質なデモデータを提供する。大規模な実験から、いくつかの示唆に富む、あるいは予想外の発見が得られた：逐次ファインチューニングは前方転移において既存の生涯学習手法を上回る、すべての種類の知識転移で優れる単一の視覚エンコーダアーキテクチャは存在しない、そして素朴な教師あり事前学習はその後の LLDM におけるエージェントの性能を妨げうる。コードとデータセットについてはウェブサイト https://libero-project.github.io を参照のこと。

リンク

  • arXiv 2306.03310: https://arxiv.org/abs/2306.03310
  • DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
  • PDF: https://arxiv.org/pdf/2306.03310v1
  • コード: https://github.com/Lifelong-Robot-Learning/LIBERO
  • プロジェクトページ: https://libero-project.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。