Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

Auteurs: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

Licences

• Accès libre
• Article: not yet confirmed

Tout ce qui suit est rédigé à partir du seul résumé.

Résumé

Nous examinons le problème de la détermination de la suffisance des démonstrations : comment un robot peut-il évaluer lui-même s'il a reçu assez de démonstrations d'un expert pour garantir un niveau de performance souhaité ? Pour traiter ce problème, nous proposons une nouvelle approche d'auto-évaluation fondée sur l'apprentissage par renforcement inverse bayésien et la valeur à risque, qui permet aux robots qui apprennent à partir de démonstrations (« LfD ») de calculer des bornes à haute confiance sur leur performance et d'utiliser ces bornes pour déterminer quand ils disposent d'un nombre suffisant de démonstrations. Nous proposons et évaluons deux définitions de la suffisance : (1) la différence de valeur espérée normalisée, qui mesure le regret par rapport à la fonction de récompense non observée de l'humain, et (2) le pourcentage d'amélioration par rapport à une politique de référence. Nous montrons comment formuler des bornes à haute confiance sur ces deux métriques. Nous évaluons notre approche en simulation dans des domaines à espace d'états discret et continu, et illustrons la faisabilité de développer un système robotique capable d'évaluer avec précision la suffisance des démonstrations. Nous montrons aussi que le robot peut utiliser l'apprentissage actif en demandant des démonstrations à partir d'états spécifiques, ce qui réduit le nombre de démonstrations nécessaires tout en permettant au robot de conserver une haute confiance dans sa politique. Enfin, au moyen d'une étude utilisateur, nous montrons que notre approche permet aux robots d'atteindre les niveaux de performance souhaités par les utilisateurs, sans nécessiter trop de démonstrations ni des démonstrations parfaitement optimales.

Liens

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1