Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Disentangled Relational Representations for Explaining and Learning from Demonstration

著者: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

補助的なラベル損失を持つ β-VAE が空間関係の埋め込みを学習し、卓上でのデモンストレーションを記号的な計画と PR2 のエンドエフェクター姿勢に変換する。

重要な理由

ユーザーは部分的にラベル付けされたデータからロボットに空間に関する語彙を教えることができ、ロボットはその同じ語彙で新しいデモンストレーションを説明するため、その計画を人が読んで確認できる。同じ埋め込みは姿勢回帰器にも入力され、教えられた記号を PR2 の腕の動きに結び付ける。

課題

デモンストレーションからの学習は報酬と方策の構造における帰納バイアスに依存し、ロボティクスの専門家でない人にとってはタスクを指定するよりも実演する方が容易である。言語で教えられるロボットは、「左に」や「上に」といった抽象的な概念を高次元のセンサストリームにグラウンディングしなければならない。従来の関係モデルは完全にラベル付けされた大規模なデータセットを必要とし、ブラックボックスとして振る舞うか、既知の環境モデル、記号への決定論的な写像、完全な計画を前提としている。

提案手法

シャム型の β-VAE が、対象物体と参照物体のマスク付き RGBD 画像を物体埋め込みに符号化し、変分演算子が各ペアを、概念グループ（左/右、前/後ろ、上/下、近い/遠い、上にある/ない、中にある/外にある）ごとに 1 つの軸を持つ低次元の関係空間へ写像する。部分的に欠けた弱いラベルに対する再構成項、KL 項、交差エントロピー項によって、これらの軸が人間の概念に揃えられる。テスト時には、デモンストレーションの埋め込みの軌跡に尤度比検定を適用して、どの物体がいつ動き、その関係がどう変わるかを復元し、すべてのデモンストレーションに見られるステップが計画となり、MLP が 6-DoF のエンドエフェクター姿勢を回帰して MoveIt! のモーションプランナーに渡す。

主な知見

  • 明示的な「不明」のケースを持つ弱いラベルで、潜在軸を人間の空間概念に揃えるのに十分である。ラベルのないペアも再構成損失を通じて寄与する。
  • マスク付き再構成と物体ラベル分類を組み合わせると、デモンストレーションの分割に最も使いやすい関係空間が得られた。物体ラベル損失のないモデルではゼロの周りに密集した関係埋め込みが生じ、著者らはこれを分割性能の低さと結び付けている。
  • 連続する埋め込みについて「移動」のガウス分布と「静止」のガウス分布の尤度比検定を行うだけで、どの物体がいつ動くかを見つけられる。
  • すべてのデモンストレーションに見られるステップだけを残すと、ある物体の左から右へ移動する途中でその後ろを通るといった付随的な動きが取り除かれる。
  • 姿勢回帰器は、各タスクで重要な軸で最も精度が高い：上に置く・中に入れる場合は位置、2 つのカップを向かい合わせる場合はロールとピッチである。

主な結果

  • 反復的な BlocksWorld のデモンストレーションにおける計画の分割：完全なモデル（再構成 + 物体ラベル損失）のスコアは、左-右 0.80、前-後ろ 0.88、下-上 0.91、遠い-近い 0.86、上にない-上にある 0.76 で、どちらの項もないモデルではそれぞれ 0.50、0.64、0.54、0.56、0.49 だった。
  • 例外：外-中のグループでは完全なモデルのスコアは 0.56 で、3 つのアブレーションすべて（0.66、0.62、0.78）を下回った。
  • 1 つの物体だけが動く連鎖的なデモンストレーション：すべてのモデルが C 字形と飛び越えで精度 1 に達し、上にない-上にある-上にないでは約 0.74 だった。
  • 使用するデモンストレーションを増やすと（最大 8 個）、推論された計画の平均編集距離は正解に向かって減少する。一部のデモンストレーションでの物体の遮蔽のため、収束しない曲線もある。
  • データ：物体 4 個ずつの合成 BlocksWorld シーン 1,000 個（関係 72,000 個、うち 40% はラベルなし）。PR2 では、テレオペレーションによる 3 タスク × 20 回のデモンストレーションから、ラベル付き 2,400 組とラベルなし 6,000 組の物体ペアを得た。姿勢予測はタスクごとに別の 10 回のデモンストレーションでテストした。

制限事項

  • タスクの本質の抽出は、1 つの行動系列で目標を達成できる決定論的なタスクでのみ機能する。
  • 把持は扱っておらず、ロボットは移動させる物体をすでに保持しているものと仮定している。
  • セグメンテーションは学習されない：マスクはロボット上では事前学習済みの Mask R-CNN から、BlocksWorld ではシミュレータの状態から得られ、指示はパーサーのために事前定義されたテンプレートに従う必要がある。
  • 一部のデモンストレーションでの物体の遮蔽により、推論された計画が正解に収束しない。
  • 評価は 3 つの単純な卓上タスクにとどまり、組み合わせ的なタスクや「もっと左に」のような修飾語は今後の課題とされている。

分野への影響

CoRL 2019 Best Paper Award のファイナリスト、被引用数 28。公式プロジェクトページから、実験コード、データ生成コード、CLEVR ベースのフォトリアリスティックな学習データにリンクしている。

概要

デモンストレーションからの学習は、人間のユーザーがロボットに望ましい振る舞いを指示するための効果的な方法である。しかし、実用上関心のある自明でないタスクの多くでは、デモンストレーションからの効率的な学習は、報酬/コストと方策に選ばれた構造の帰納バイアスに決定的に依存する。我々は、この帰納バイアスが人間のユーザーとのやり取りから得られる場合を扱う。学習エージェントが、補助損失項を伴う高パラメータの変分ニューラルモデルの情報ボトルネック層を利用して、空間関係のような抽象的な概念をグラウンディングする手法を提案する。これらの概念は自然言語の指示の中で言及され、エージェントが世界から受け取る高次元の感覚入力ストリームに現れる。学習したモデルの潜在空間の性質をフォトリアリスティックな合成環境で評価し、特に下流タスクへの有用性の検証に焦点を当てる。さらに、一連の統制された卓上マニピュレーション実験を通じて、学習した多様体を用いてデモンストレーションを記号的な計画としてグラウンディングでき、それを PR2 ロボットで実行できることを示す。

リンク

  • arXiv 1907.13627: https://arxiv.org/abs/1907.13627
  • DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
  • PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
  • コード: https://github.com/yordanh/spatial_relations_experiments
  • プロジェクトページ: https://sites.google.com/view/explain-n-repeat/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。