Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

作者: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

授權條款

• 開放取用
• 論文: not yet confirmed

以下內容僅依據摘要撰寫。

摘要

我們探討判定示範充分性的問題：機器人要如何自我評估，它是否已從專家那裡獲得足夠的示範，足以確保達到期望的效能水準？為了解決這個問題，我們提出一種以貝氏逆強化學習與風險值（value-at-risk）為基礎的新型自我評估方法，讓從示範中學習（「LfD」）的機器人能計算其效能的高信賴度界限，並用這些界限判定何時已擁有足夠數量的示範。我們提出並評估兩種充分性的定義：（1）正規化期望值差，衡量相對於人類未被觀測之獎勵函數的遺憾；以及（2）相對於基準策略的百分比改善。我們展示如何為這兩項指標建立高信賴度界限。我們在模擬中針對離散與連續狀態空間的領域評估我們的方法，並說明開發一套能準確評估示範充分性之機器人系統的可行性。我們也顯示，機器人可以運用主動學習，從特定狀態請求示範，因而在對其策略維持高信賴度的同時，減少所需的示範數量。最後，透過一項使用者研究，我們顯示我們的方法成功讓機器人達到使用者期望的效能水準，而不需要太多示範，也不需要完全最佳的示範。

連結

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1