Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

Autores: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

Licencias

• Acceso abierto
• Artículo: not yet confirmed

Todo lo que sigue está escrito solo a partir del resumen.

Resumen

Examinamos el problema de determinar la suficiencia de las demostraciones: ¿cómo puede un robot autoevaluar si ha recibido suficientes demostraciones de un experto para garantizar un nivel de rendimiento deseado? Para abordar este problema, proponemos un enfoque novedoso de autoevaluación basado en el aprendizaje por refuerzo inverso bayesiano y el valor en riesgo, que permite a los robots de aprendizaje a partir de demostraciones («LfD») calcular cotas de alta confianza sobre su rendimiento y usar estas cotas para determinar cuándo tienen un número suficiente de demostraciones. Proponemos y evaluamos dos definiciones de suficiencia: (1) la diferencia de valor esperado normalizada, que mide el arrepentimiento con respecto a la función de recompensa no observada del humano, y (2) el porcentaje de mejora sobre una política de referencia. Demostramos cómo formular cotas de alta confianza para ambas métricas. Evaluamos nuestro enfoque en simulación tanto en dominios de espacio de estados discreto como continuo, e ilustramos la viabilidad de desarrollar un sistema robótico capaz de evaluar con precisión la suficiencia de las demostraciones. También mostramos que el robot puede utilizar el aprendizaje activo para pedir demostraciones desde estados específicos, lo que hace que necesite menos demostraciones sin dejar de mantener una alta confianza en su política. Por último, mediante un estudio con usuarios, mostramos que nuestro enfoque permite con éxito a los robots rendir a los niveles de rendimiento deseados por los usuarios, sin necesitar demasiadas demostraciones ni demostraciones perfectamente óptimas.

Enlaces

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1