What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

著者: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

6 つのオフライン学習アルゴリズムを 5 つのシミュレーションと 3 つの実機のマニピュレーションタスクで検証。履歴に依存する BC-RNN が人間のデモンストレーションから最もよく学習し、バッチ RL は人間のデータで苦戦する。

重要な理由

遠隔操作データを収集する人に向けて、本研究は具体的な設定を示している。履歴に依存する方策を使い、手首カメラとピクセルシフトによる画像ランダム化を入れ、固有受容の入力は最小限にとどめ、検証損失によるチェックポイント選択ではより弱い方策が選ばれると想定しておくことである。シミュレーションで調整したハイパーパラメータを実世界での調整なしに実機の Franka アームに適用しても、動作する Lift と Can の方策が得られた。

課題

人間のデモンストレーションからの模倣学習とバッチ（オフライン）強化学習には、ロボットマニピュレーション向けのオープンソースの人間のデータセットや再現可能な実装が不足しており、どの手法や設計の選択が有効かを判断するのが難しかった。人間のデモンストレーションは機械生成のデータとは異なり、マルコフ的でない場合があり、品質はオペレータによって異なり、学習の損失は評価に用いるタスク成功率の代わりにすぎない。

提案手法

著者らは RoboTurk を通じて、5 つのシミュレーションタスク（Lift、Can、Square、Transport、Tool Hang）の遠隔操作デモンストレーションを、単一オペレータの Proficient-Human データセット（200 デモ）と 6 人のオペレータによる Multi-Human データセット（300 デモ）として収集した。さらに Lift と Can の機械生成データセットと、Franka アームでの Lift、Can、Tool Hang の 200 デモの実世界データセットも用意した。低次元観測と画像観測で BC、BC-RNN、HBC、BCQ、CQL、IRIS を学習させ、シミュレーションですべてのチェックポイントをオンラインで評価し、観測空間、ハイパーパラメータ、データセットの規模、方策選択のルールを変化させた。

主な知見

履歴に依存するモデル（BC-RNN、HBC、IRIS）は、単純な BC よりも人間のデモンストレーションからはるかによく学習する。BC-RNN と BC の差はタスクのホライズンとともに広がり（Transport (PH) で約 55%、Square (PH) で約 5%）、複数オペレータのデータでも広がる。
BCQ と CQL は機械生成の品質混在データではよく機能するが、人間のデータセットでは性能が低く、1 人のオペレータによる成功と失敗のデモンストレーションを対にした診断用データセットでも同様である。
観測の設計は重要である。エンドエフェクタの速度や関節状態を加えると低次元エージェントの性能が 49%–88%（相対値）低下し、一方でピクセルシフトのランダム化や手首カメラを除くと画像エージェントの性能が損なわれた。
検証損失が最小のチェックポイント、または最終エポックを選ぶと、最良のチェックポイントより 10% から 100% 悪い方策になったため、オフラインでの方策選択は未解決の問題のままである。
単純なタスク（Lift、Can）はデータの 20% で 75%–100% の成功率に達したが、複雑なタスク（Square、Transport）はデータが増えるにつれて改善し続けた。

主な結果

低次元の Proficient-Human データでの BC-RNN（3 シード）：Lift 100%、Can 100%、Square 84.0%、Transport 71.3%、Tool Hang 19.3%。
画像観測での BC-RNN：Square (PH) 82.0%、Transport (PH) 72.0%、Tool Hang (PH) 67.3%。BCQ はそれぞれ 41.3%、0.7%、3.3%。
低次元の Multi-Human データでは、BCQ は Can で 62.7%、Square で 14.0% に達し、BC-RNN はそれぞれ 100% と 78.0%。
オペレータの品質を混在させた 200 デモの Square では、BC-RNN のスコアは 55.3%、73.3%、74.0% で、200 デモの単一オペレータの Square (PH) データセットでの 84.0% を下回った。
実機の Franka アーム、BC-RNN、最終チェックポイント、30 回のロールアウト、実世界での調整なし：Lift 96.7%、Can 73.3%、Tool Hang 3.3%。
実機の Can タスクでは、ピクセルシフトのランダム化を除くと成功率は 26.7% に、手首カメラを除くと 43.3% に低下した。

制限事項

シミュレーションの結果は、すべてのチェックポイントをオンラインで評価して見つけた最良のチェックポイントを報告しており、著者らはこれが実ロボットでは実行不可能だと指摘している。実世界の結果では代わりに最終チェックポイントを用いている。
実世界の実験は 3 つのタスクを各 30 回のロールアウトで扱い、実世界でのハイパーパラメータ調整は行っていない。著者らはこれらの結果を下限と呼んでおり、実機の Tool Hang の方策はロールアウトの 3.3% で成功した。
機械生成のデータセットは Lift と Can のみである。RL エージェントは大幅な調整をしても他のタスクを解けなかったためである。
本研究は修正案を提案するのではなく、既存の 6 つのアルゴリズムを比較している。人間のデータにおけるバッチ RL の差を埋めることと、より良いオフライン方策選択は今後の課題とされている。
PMLR 版は、そこに含まれていない付録（タスクの詳細、データセット規模の表 27 と 28、BCQ と CQL のハイパーパラメータ）に言及している。

分野への影響

被引用数 548（記載の数値）。著者らはデータセットとすべてのアルゴリズムの実装をプロジェクトページでオープンソース化し、オフライン学習手法を比較するための人間のデモンストレーションによるマニピュレーションタスクとベースラインの共通セットを提供した。

概要

人間のデモンストレーションを模倣することは、ロボットにさまざまなマニピュレーション能力を与える有望なアプローチである。模倣学習とバッチ（オフライン）強化学習では近年進歩が見られるものの、オープンソースの人間のデータセットと再現可能な学習手法が不足しているため、この分野の現状を評価することは難しい。本論文では、ロボットマニピュレーションのための 6 つのオフライン学習アルゴリズムについて、複雑さの異なる 5 つのシミュレーションと 3 つの実世界の多段階マニピュレーションタスクで、品質の異なるデータセットを用いた広範な調査を行う。本研究では、マニピュレーションをオフラインの人間のデータから学習する際の最も重要な課題を分析する。この調査に基づき、さまざまなアルゴリズム設計の選択に対する感度、デモンストレーションの品質への依存性、学習と評価の目的が異なることによる停止基準に基づくばらつきなど、一連の教訓を導き出す。また、現在の強化学習手法の範囲を超える難しい多段階タスクで熟練した方策を学習できることや、生のセンサ信号しか得られない自然な実世界のマニピュレーションシナリオへ容易に拡張できることなど、人間のデータセットから学習することの可能性も強調する。人間のデモンストレーションデータからの学習における今後の研究と公正な比較を促進するため、データセットとすべてのアルゴリズムの実装を https://arise-initiative.github.io/robomimic-web/ でオープンソース化した。

リンク

arXiv 2108.03298: https://arxiv.org/abs/2108.03298
DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
プロジェクトページ: https://arise-initiative.github.io/robomimic-web/