Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

著者: Francesco Del Duchetto, Marc Hanheide · IROS 2022

ライセンス

• オープンアクセス
• 論文: CC BY-SA 4.0

以下の内容はすべて、論文のライセンス（CC BY-SA 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

博物館ガイドロボット Lindsey は、カメラで推定した来館者のエンゲージメントを報酬として UCBVI でツアーをオンラインに適応させ、訪れた展示の数を 22.8%、完了率を約 30% 高めた。

重要な理由

学習は実験室やシミュレーションではなく、訓練を受けていない来館者がいつでも割り込んだり立ち去ったりできる、構造化されていない公共空間の実ロボット上で行われる。自動推定したエンゲージメント信号のみをフィードバックとして用い、データ収集と学習の段階を分けていない。学習後に 2 週間静的方策に戻すことで、改善がロックダウン明けの来館者の行動など他の要因ではなく、学習した方策によるものであることを確認している。

課題

Lindsey は英国リンカーンの The Collection 博物館で 103 日間に 2,300 回を超えるツアーを行ったが、来館者が最後まで回ったのは約 18% にすぎなかった。社会的ロボットは自らの行動がユーザーにどう影響するかを経験から学ばなければならないが、目的であるユーザーエンゲージメントは、センサーから推定するしかない内部状態である。実ロボットでの探索は時間的なコストも大きく、現実世界のダイナミクスによって制約される。

提案手法

ツアーはペトリネットの計画として記述され、その行動（展示へ移動する、それを説明する、より詳しく説明する、ツアーを終える）は有効な後続系列に制約される。ロボットの GPU 上で動くエンドツーエンドの回帰モデルが、カメラからエンゲージメントを約 1 Hz で推定する。各行動の間の平均値は LOW、MEDIUM、HIGH に区分され、状態にも報酬にも用いられる。Upper-Confidence-Bound Value Iteration（UCBVI）アルゴリズムは、元の静的方策による数千回のツアーで訪問回数を初期化し、σ = 20 で探索ボーナスを設定して、ツアーのたびに方策を更新する。

主な知見

• 最初の展示で LOW のエンゲージメントを示した来館者は、ツアーを続ける確率が約 20% 低く、これがエンゲージメントを用いて行動を選ぶ動機となっている。
• 学習した方策は展示の順序を並べ替え、追加の説明をいつ行うかを決める。ツアーの序盤ではより頻繁に説明し、後半ではエンゲージメントが MEDIUM か HIGH のときだけ説明する。
• 静的方策のツアーで UCBVI を初期化するとそのデータを再利用でき、ボーナスは探索の少ない状態–行動ペアへと探索を向ける。ボーナスはまた、新しい行動を試す前に、探索が不十分な行動を連続するツアーで繰り返させる。著者らはこれが一貫した振る舞いに役立つとしている。
• 報酬は常に正であるため、報酬関数は暗黙のうちに長いツアーを好む。

主な結果

• 8 週間の学習段階で、1 回のツアーあたりに訪れた展示の平均数は、それ以前の静的方策の期間より 22.8% 増加し、静的方策を用いた 2 週間の検証段階で以前の水準に戻った。
• ツアー成功率（すべての展示地点を回ったツアー）は静的なツアーと比べて 30% を超えて上昇した。要旨ではこれをツアーを完了する確率の 30% 増加と述べている。
• 学習した方策のもとでは、連続する行動の間でエンゲージメントが安定していた割合はほぼ 50% であった。それ以前は、上昇、低下、安定がほぼ同じ確率だった。
• 2022 年初めの時点で探索できたのは状態–行動空間の約 13% にすぎず、5 週間の継続をシミュレーションしたところ、新たに探索可能な状態の数は時間とともに減少した。
• 検出された平均エンゲージメントは、それ以前の期間や検証期間と比べて学習段階で低下した。

制限事項

• 探索できたのは状態–行動空間の一部にすぎず、著者らはこの実世界の設定では完全な探索は現実的に達成できないと述べている。一部の状態はユーザーの行動が許す場合にしか到達できない。
• 博物館が COVID のロックダウン明けに再開した後、検出されたエンゲージメントは低下した。マスクの着用がエンゲージメントモデルに影響した可能性がある。研究は 3 年近くに及び、来館者の行動には多くの要因が影響している。
• UCBVI のボーナスは、ユーザーの好みが変化して十分に探索された領域の推定値が古くなったことを認識できない。著者らは、過去の推定値からの乖離に基づくボーナスを今後の課題として提案している。
• エンゲージメントが失われるケースが全体として減ったことを除けば、著者らは学習した方策と静的方策の間でツアーの中断や放棄に他の有意な差を見いだしていない。
• 研究は 1 つの博物館展示室にいる 1 台のロボットを対象とし、5 つまたは 6 つの展示からなる 4 つのツアーのみを扱い、ガイドツアーでのインタラクションしか考慮していない。

分野への影響

この論文は IROS 2022 認知ロボティクス最優秀論文賞（KROS 協賛）のファイナリストで、被引用数は 14 である。論文はコードもデータも公開していない。

概要

本研究では、公共空間に長期間配備された自律ロボットが、ユーザーとのインタラクションから自らの行動をオンラインで適応させられる枠組みを提案する。ロボットの行動計画は強化学習（RL）の枠組みに組み込まれ、その目的はインタラクション中の全体的なユーザーエンゲージメントの水準を最大化することである。リアルタイムのインタラクションにおける探索と活用のトレードオフを管理する有用な手段となる、Upper-Confidence-Bound Value-Iteration（UCBVI）アルゴリズムを用いる。エンドツーエンドで学習したエンゲージメントモデルが、方策の実行中にリアルタイムで報酬関数を生成する。この手法を英国リンカーンの公共博物館で試験し、ロボットを来館者向けのツアーガイドとして配備した。その結果、数か月の探索の後、ロボットの方策はユーザーのエンゲージメントをより長く維持することを学習し、当初の静的方策と比べて、ツアー中に訪れた展示の数が 22.8% 増加し、ツアーを完了する確率が 30% 増加した。本研究は、社会的な場面でのロボット応用において、長期的なシナリオでの行動適応に向けた有望な一歩である。

リンク

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1