Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

Autores: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

Licenças

• Acesso aberto
• Artigo: not yet confirmed

Tudo o que segue foi escrito apenas a partir do resumo.

Resumo

Examinamos o problema de determinar a suficiência de demonstrações: como um robô pode autoavaliar se recebeu demonstrações suficientes de um especialista para garantir um nível de desempenho desejado? Para resolver esse problema, propomos uma nova abordagem de autoavaliação baseada em aprendizado por reforço inverso bayesiano e valor em risco, que permite que robôs de aprendizado a partir de demonstrações (“LfD”) calculem limites de alta confiança sobre seu desempenho e usem esses limites para determinar quando têm um número suficiente de demonstrações. Propomos e avaliamos duas definições de suficiência: (1) a diferença de valor esperado normalizada, que mede o arrependimento em relação à função de recompensa não observada do humano, e (2) a porcentagem de melhoria sobre uma política de referência. Demonstramos como formular limites de alta confiança para ambas as métricas. Avaliamos nossa abordagem em simulação, em domínios de espaço de estados discreto e contínuo, e ilustramos a viabilidade de desenvolver um sistema robótico capaz de avaliar com precisão a suficiência de demonstrações. Mostramos também que o robô pode utilizar aprendizado ativo para pedir demonstrações a partir de estados específicos, o que resulta em menos demonstrações necessárias para que o robô ainda mantenha alta confiança em sua política. Por fim, por meio de um estudo com usuários, mostramos que nossa abordagem permite com sucesso que robôs atuem nos níveis de desempenho desejados pelos usuários, sem precisar de demonstrações demais nem perfeitamente ótimas.

Links

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1