Learning to Share Autonomy across Repeated Interaction
著者: Ananth Jonnavittula, Dylan P. Losey · IROS 2021
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
あらかじめ定めた目標リストのない共有自律。ロボットは繰り返しのテレオペレーションからタスクを学習し、ジョイスティック入力からタスクを認識し、過去の実行を模倣し、確信がないときは制御を返す。
重要な理由
支援アームの利用者は同じ日常タスクを繰り返すため、その繰り返しから学ぶアームなら、誰かが目標リストをプログラムしなくてもテレオペレーションの労力を減らせる。識別器に基づいて制御を返す仕組みは、目標推定手法で見られる膠着状態、つまり利用者が未知の目標に向かうとロボットが抵抗する状態を避ける。
課題
支援アームのための共有自律の手法は、利用者が到達しうる目標の集合や利用者が最適化する報酬といった事前知識を必要とする。利用者がその集合の外にあるタスク、たとえばロボットが一度も知らされていない冷蔵庫を開けることを試みると、ロボットは支援できず、誤った既知の目標の方へ押しやることさえある。
提案手法
ロボットはテレオペレーションによるインタラクションをすべて保存し、利用者の現在の状態とジョイスティックのコマンドを潜在タスクに写像するエンコーダと、そのタスクにおける利用者の過去の振る舞いを再現する支援用の関節速度を出力するデコーダ方策を訓練する。既知のインタラクションとそれにノイズを加えて変形したものを見分けるよう訓練した別個の識別器が、現在のインタラクションの親しみ度を採点し、そのスコアがロボットと人の行動のブレンド係数 β を決める。モデルはインタラクションの合間に再訓練されるため、新しいタスクが継続的に学習される。
主な知見
- 日常生活における繰り返しこそが支援の学習を可能にするものであり、ロボットは利用者がどのタスクを望んでいるかを教えられる必要がない。
- 行動を選ぶ前にインタラクションを潜在タスクに符号化することで、インタラクションを直接条件とする行動クローニング（DAgger）よりも目標への到達が改善した。
- 親しみ度を判定する別個の識別器は、既知のタスクにおいて DropoutDAgger の自己評価による不確実性よりも安定した確信度を与えた。DropoutDAgger はわずかなずれで制御を返してしまった。
- エンコーダへの入力として、ブレンドされた行動ではなく人のコマンドだけを使うことで、ロボットが自らの行動によって目標を思い込むフィードバックループを避けられる。
- 固定の目標集合に対するベイズ的な目標推定は、未知のタスクで膠着しうる。付録では、利用者が引き出しを開けようとすると、ロボットが近くのメモ帳の方へ引っ張る例が示されている。
主な結果
- 3 つの目標と 3 回または 5 回の訓練デモンストレーションによる到達のアブレーションでは、利用者が最初の 0.5 s だけ誘導した場合、エンコーダに基づく手法は同じデータを与えた DAgger より小さい最終状態誤差で目標に到達した。
- グラスを持ち上げるスキルについて 5 回の事前の繰り返しがある場合、この手法は終始確信を保ったが、DropoutDAgger はほとんど支援を提供しなかった。
- 引き出しのスキルの 5 回の繰り返しで訓練すると、この手法はテストしたすべてのノイズレベルで引き出しタスクにおける人の労力を減らし、未見の缶に手を伸ばすタスクでも No Assist 以上の労力を必要としなかった。
- 参加者 10 名のスタディでは、2 つの既知の目標に到達するための人の労力に、この手法とベイズ的共有自律のベースラインとの間で有意差はなかった。
- 参加者が 2 つの新しいタスクをそれぞれ 9 回行い、3 試行ごとに再訓練したところ、ロボットは 6 回のデモンストレーションで訓練した後に引き出しのスキルを認識して支援を提供した。すべてのタスクで訓練したモデルは、タスク固有のモデルとほぼ同程度に元の目標を支援した。
- 著者らは、この手法が実用的な回数（10 回未満）のインタラクションから学習すると述べている。
制限事項
- この手法は共適応を明示的にモデル化していない。利用者はロボットを信頼するにつれて、たとえばジョイスティック入力を完全にやめるなど、テレオペレーションのやり方を変える可能性がある。
- ユーザースタディの参加者 10 名は大学コミュニティの人々であり、身体障害とともに生活する利用者ではない。
- 実験には、車椅子搭載型アームではなく、簡略化した家庭環境に固定した 7-DoF アームを用いている。
- シミュレーション実験では、実際の利用者ではなく、コマンドにガウスノイズを加えた模擬オペレーターを用いている。
分野への影響
本論文は IROS 2021 Best RoboCup Paper Award のファイナリストに選ばれ、被引用数は 16 である。実験の動画へのリンクがあるが、コードやデータの公開については記載がない。
概要
車椅子搭載型ロボットアーム（およびその他の支援ロボット）は、利用者が日常のタスクを行うのを助けるべきである。ロボットがこの支援を提供する方法の 1 つが共有自律（shared autonomy）である。共有自律では、人とロボットの両方がロボットの動作に対する制御を保持する。ロボットは、人が何を望んでいるかを理解しているという確信が強まるにつれて、タスクを自動化するためにより多く介入するようになる。しかし、そもそもロボットは、人がどのようなタスクを行いたいかをどうやって知るのだろうか。現在の共有自律の手法は、多くの場合事前知識に依存している。たとえば、ロボットは人が取りうる目標の集合をあらかじめ知っていなければならない。しかし長期的には、この事前知識は必ず破綻する。遅かれ早かれ、人はロボットが予期していなかった目標に手を伸ばすだろう。本論文では、繰り返しのインタラクションを活用する共有自律の学習手法を提案する。人が毎回のインタラクションでまったく異なるタスクを行うのであれば、人を支援することを学ぶのは不可能だろう。しかし我々の洞察は、身体障害とともに生活する利用者は重要なタスクを毎日繰り返している（たとえば、冷蔵庫を開ける、コーヒーをいれる、夕食をとる）ということである。我々は、これらの繰り返しのインタラクションを利用して、人のタスクを認識し、類似したデモンストレーションを再現し、確信がないときには制御を返すアルゴリズムを導入する。人がこのロボットと繰り返し作業するにつれて、我々の手法は事前に指定されていなかったタスクの支援を継続的に学習する。これらのタスクには、離散的な目標（たとえばカップに手を伸ばす）と連続的なスキル（たとえば引き出しを開ける）の両方が含まれる。シミュレーションと対面のユーザースタディを通じて、我々の手法を用いるロボットが、既知の目標では既存の共有自律手法に匹敵し、新しいタスクでは模倣学習のベースラインを上回ることを示す。動画はこちら：https://youtu.be/NazeLVbQ2og
リンク
- arXiv 2107.09650: https://arxiv.org/abs/2107.09650
- DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
- PDF: https://arxiv.org/pdf/2107.09650v1