Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

著者: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

ライセンス

• オープンアクセス
• 論文: not yet confirmed

以下の内容はすべてアブストラクトのみから書かれています。

概要

我々はデモの十分性を判定する問題を検討する。すなわち、ロボットは、望ましい性能水準を確保するのに十分なデモを専門家から受け取ったかどうかを、どのように自己評価できるだろうか。この問題に対処するため、我々はベイズ逆強化学習とバリュー・アット・リスクに基づく新しい自己評価手法を提案する。これにより、デモンストレーションからの学習（「LfD」）を行うロボットは、自らの性能に対する高信頼の上下界を計算し、それを用いてデモの数が十分になった時点を判断できる。我々は十分性の 2 つの定義を提案し評価する。（1）人間の観測されない報酬関数に対するリグレットを測る正規化期待価値差と、（2）ベースライン方策に対する改善率である。これら両方の指標について高信頼の上下界を定式化する方法を示す。我々は離散と連続の状態空間の両方の領域についてシミュレーションで手法を評価し、デモの十分性を正確に評価できるロボットシステムを開発する実現可能性を示す。また、ロボットが能動学習を用いて特定の状態からのデモを求めることで、方策に対する高い信頼を保ちながら必要なデモの数を減らせることも示す。最後に、ユーザー研究を通じて、我々の手法により、多すぎるデモや完全に最適なデモを必要とせずに、ロボットがユーザーの望む性能水準で動作できることを示す。

リンク

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1