Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

作者: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

许可协议

• 开放获取
• 论文: not yet confirmed

以下内容仅依据摘要撰写。

摘要

我们研究确定演示充分性的问题：机器人如何自我评估它是否已经从专家那里获得了足够多的演示，以确保达到期望的性能水平？为解决这一问题，我们提出一种基于贝叶斯逆强化学习和风险价值（value-at-risk）的新型自我评估方法，使从演示中学习（“LfD”）的机器人能够计算其性能的高置信度界限，并利用这些界限判断何时已获得足够数量的演示。我们提出并评估了两种充分性定义：（1）归一化期望价值差，它衡量相对于人类未被观测到的奖励函数的遗憾；（2）相对于基线策略的百分比改进。我们展示了如何为这两种指标构建高置信度界限。我们在仿真中针对离散和连续状态空间领域评估了我们的方法，并说明了开发一个能够准确评估演示充分性的机器人系统的可行性。我们还表明，机器人可以利用主动学习，从特定状态请求演示，从而在仍对其策略保持高置信度的同时减少所需的演示数量。最后，通过一项用户研究，我们表明我们的方法成功地使机器人达到用户期望的性能水平，而不需要过多的演示，也不需要完全最优的演示。

链接

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1