Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

著者: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

OPA は合成した到達・回避経路でグラフネットワークポリシーを事前学習し、物体ごとの小さな選好特徴だけを更新することで、人の 1 回の修正に 0.5 s 未満で適応する。

重要な理由

固定の相互作用ダイナミクスと物体固有の好みを分離することで、ポリシーを再学習せずに、1 回の修正である 1 つの物体に対する挙動を変えられる。コンパクトな潜在空間は、SO(3) における任意の相対姿勢のように事前学習に含まれない挙動も表現でき、データが合成であるため事前学習に人のデモンストレーションは不要である。

課題

作業の途中で人がロボットを修正したとき、例えば工場が新しいスキャン工程を追加したときなどには、ロボットは挙動を変える必要がある。既存のオンライン手法は、相互作用のエピソードを繰り返す必要があるか、人の好みを手作業で選んだ固定の報酬特徴の集合に対する重みとしてモデル化するため、学習できる内容が限られ、新しいタスクへの転移も不十分である。

提案手法

OPA はシーンをグラフとして表し、ロボットと物体をノードとし、各物体からロボットへのエッジを張る。位置用と姿勢用の共有関係ネットワークは、手作業で設計した相対状態特徴に加えて、物体ごとの小さな学習済み選好特徴（位置は 1 次元、姿勢は 1 次元の潜在変数とクォータニオンの回転オフセット）を入力とし、集約器がそれらの出力を合計・正規化して行動を出す。ポリシーは合成した Elastic Band 軌道で事前学習される。人が摂動を加えると、想像上のロールアウトに対する数ステップの勾配更新で物体ごとの特徴だけを更新し、共有ネットワークの重みは固定したままにする。

主な知見

  • 物体ごとの選好特徴を学習可能な重みとして扱うことで、適応をコンパクトな潜在空間に限定できる。位置には 5 回、姿勢には 20 回の勾配更新で十分だった。
  • 事前学習は 4 種類の相互作用（近づく・遠ざかる、物体の向きを無視する・固定オフセットで合わせる）しか含まなかったが、適応によって物体に対する任意の 3D の向きといった新しい挙動が生まれた。
  • モデル構造により学習した重みが解釈可能になった。学習した 2D の回転オフセットは学習中に真のオフセットへ収束した。
  • ポテンシャル場法と異なり、関係ネットワークはロボット–物体ベクトルに平行な力を出力するよう強制されないため、障害物が目標と同じ方向にある場合の失敗を避けられる。
  • 反発、引き寄せ、目標の各物体の位置特徴をそれぞれ 1.0、0.5、0.0 で初期化したことで、特徴間の補間が補間された挙動を生むようになり、新しい物体は中間点の「無視」から始められる。

主な結果

  • CMU の学生 10 名によるユーザー調査を、シミュレーション上の 3 つのマニピュレータタスクで実施し、摂動はコンピュータのキーで加えた。
  • タスク 1（壊れやすいカップをテーブルの上を低く運ぶ）：摂動中に重力補償へ切り替えるベースラインと比べ、ユーザーは OPA の方が自分の好みをよく理解し、労力が少なく、やや予測しやすいと評価した。
  • タスク 2（選んだ向きでフライパンを差し出す）：平均姿勢誤差は 0.2576 rad で、取りうる最大値 π/2 の 16%。満足度の四分位数は 5 段階評価で 3.5 / 4.0 / 4.0。
  • タスク 3（ビンの手前にバーコードスキャンの工程を追加する）：「意図を理解した」の四分位数は 5 段階評価で 4.0 / 4.0 / 5.0。
  • オンライン適応は合計 0.5 s 未満。9 個の並列プロセスで 3000 本の合成軌道を 4 分で生成した後、ノート PC の GPU で各ネットワークを 100 エポック事前学習するのに 12 分かかる。

制限事項

  • 著者によれば、OPA は到達と回避として表される物体中心の行動に依存しており、把持や力の付与（例えば表面を拭く）は扱えない。
  • すべての物体が検出でき、一意に識別でき、その 6D 姿勢を取得できることを仮定している。非構造化環境は今後の課題とされている。
  • 結果は適応の学習率と勾配ステップ数に敏感である。タスク 1 では 2 人のユーザーがロボットがテーブル付近に留まったり目標を無視したりするのを見ており、タスク 3 では 2 人がボウルはもっとスキャナーに近づくべきだったと述べた。
  • 描画のように物体に対して相対的でない、タスク中心の目標は扱われていない。
  • ユーザー調査では、実ロボットとの物理的接触ではなく、キーボードのキーで摂動を加えるシミュレーション上のマニピュレータを用いた。

分野への影響

ICRA 2023 Outstanding Physical Human-Robot Interaction Paper 賞を受賞し、被引用数は 7。論文には動画、コード、補足資料へのリンクがあり、公式プロジェクトページはコードリポジトリを指している。

概要

ロボットを新しい環境やタスクに効果的に導入するには、人が介入の際に示すフィードバックを理解できなければならない。それは望ましくない挙動の修正である場合もあれば、追加の好みを示す場合もある。既存手法は、相互作用のエピソードを繰り返す必要があるか、報酬特徴が事前に既知であると仮定しており、データ効率が悪く、新しいタスクへの転移も難しい。我々は、人のタスクを物体中心のサブタスクとして記述し、物理的な介入を特定の物体に関連づけて解釈することで、これらの仮定を緩和する。我々の手法 Object Preference Adaptation（OPA）は 2 つの主要な段階からなる。1) 多様な挙動を生成するベースポリシーを事前学習し、2) 人のフィードバックに応じてモデル内の特定の重みだけをオンラインで更新する。高速かつ単純な適応の鍵は、エージェントと物体の間の一般的な相互作用ダイナミクスを固定し、物体固有の好みだけを更新することにある。適応はオンラインで行われ、人の介入は 1 回（one-shot）だけでよく、学習中に一度も見たことのない新しい挙動を生み出す。高価な人のデモンストレーションではなく安価な合成データで学習した我々のポリシーは、ユーザー調査において、困難で現実的なタスクで人の摂動に対する優れた適応を示す。動画、コード、補足資料：https://alvinosaur.github.io/AboutMe/projects/opa.

リンク

  • arXiv 2203.04951: https://arxiv.org/abs/2203.04951
  • DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
  • PDF: https://arxiv.org/pdf/2203.04951v1
  • コード: https://github.com/Alvinosaur/opa
  • プロジェクトページ: https://alvinosaur.github.io/AboutMe/projects/opa

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。