Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

Autori: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

Licenze

• Open access
• Articolo: not yet confirmed

Tutto ciò che segue è scritto solo a partire dall'abstract.

Abstract

Esaminiamo il problema di determinare la sufficienza delle dimostrazioni: come può un robot autovalutare se ha ricevuto abbastanza dimostrazioni da un esperto per garantire un livello di prestazioni desiderato? Per affrontare questo problema proponiamo un nuovo approccio di autovalutazione basato sull'apprendimento per rinforzo inverso bayesiano e sul value-at-risk, che consente ai robot che apprendono da dimostrazioni («LfD») di calcolare limiti ad alta confidenza sulle proprie prestazioni e di usarli per determinare quando dispongono di un numero sufficiente di dimostrazioni. Proponiamo e valutiamo due definizioni di sufficienza: (1) la differenza di valore atteso normalizzata, che misura il regret rispetto alla funzione di ricompensa non osservata dell'essere umano, e (2) il miglioramento percentuale rispetto a una policy di riferimento. Mostriamo come formulare limiti ad alta confidenza per entrambe le metriche. Valutiamo il nostro approccio in simulazione sia in domini con spazio degli stati discreto sia continuo, e illustriamo la fattibilità di sviluppare un sistema robotico in grado di valutare con accuratezza la sufficienza delle dimostrazioni. Mostriamo inoltre che il robot può usare l'apprendimento attivo per chiedere dimostrazioni a partire da stati specifici, il che riduce il numero di dimostrazioni necessarie mantenendo comunque un'alta confidenza nella propria policy. Infine, tramite uno studio con utenti, mostriamo che il nostro approccio consente ai robot di operare ai livelli di prestazioni desiderati dagli utenti, senza richiedere troppe dimostrazioni né dimostrazioni perfettamente ottimali.

Link

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1