Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

Autoren: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

Lizenzen

• Open Access
• Paper: not yet confirmed

Alles Folgende beruht nur auf dem Abstract.

Zusammenfassung

Wir untersuchen das Problem, die Hinlänglichkeit von Demonstrationen zu bestimmen: Wie kann ein Roboter selbst einschätzen, ob er von einem Experten genug Demonstrationen erhalten hat, um ein gewünschtes Leistungsniveau sicherzustellen? Um dieses Problem anzugehen, schlagen wir einen neuartigen Ansatz zur Selbsteinschätzung auf Basis von bayesschem inversem Reinforcement Learning und Value-at-Risk vor, der es Robotern, die aus Demonstrationen lernen („LfD“), ermöglicht, Schranken hoher Konfidenz für ihre Leistung zu berechnen und anhand dieser Schranken zu bestimmen, wann sie eine ausreichende Anzahl an Demonstrationen haben. Wir schlagen zwei Definitionen von Hinlänglichkeit vor und evaluieren sie: (1) die normierte Differenz des erwarteten Werts, die das Regret bezüglich der unbeobachteten Belohnungsfunktion des Menschen misst, und (2) die prozentuale Verbesserung gegenüber einer Baseline-Policy. Wir zeigen, wie sich Schranken hoher Konfidenz für beide Metriken formulieren lassen. Wir evaluieren unseren Ansatz in der Simulation für Domänen mit diskretem und kontinuierlichem Zustandsraum und veranschaulichen, dass sich ein Robotersystem entwickeln lässt, das die Hinlänglichkeit von Demonstrationen genau beurteilen kann. Außerdem zeigen wir, dass der Roboter aktives Lernen nutzen kann, indem er Demonstrationen aus bestimmten Zuständen anfordert, wodurch weniger Demonstrationen nötig sind, während der Roboter weiterhin eine hohe Konfidenz in seine Policy behält. Schließlich zeigen wir in einer Nutzerstudie, dass unser Ansatz Roboter erfolgreich befähigt, auf dem von den Nutzern gewünschten Leistungsniveau zu arbeiten, ohne zu viele oder perfekt optimale Demonstrationen zu benötigen.

Links

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1