Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning

저자: Tu Trinh, Haoyu Chen, Daniel S. Brown · HRI 2024

라이선스

• 오픈 액세스
• 논문: not yet confirmed

아래 내용은 모두 초록만으로 작성했습니다.

초록

우리는 시연 충분성 판단 문제를 살펴본다. 로봇은 원하는 수준의 성능을 보장할 만큼 전문가로부터 충분한 시연을 받았는지 어떻게 스스로 평가할 수 있을까? 이 문제를 해결하기 위해, 우리는 베이지안 역강화 학습과 위험가치(value-at-risk)에 기반한 새로운 자기 평가 접근법을 제안하며, 이를 통해 시연 학습("LfD") 로봇이 자신의 성능에 대한 높은 신뢰도의 경계를 계산하고 이 경계를 사용해 시연 수가 충분해지는 시점을 판단할 수 있게 한다. 우리는 충분성에 대한 두 가지 정의를 제안하고 평가한다. (1) 인간의 관측되지 않은 보상 함수에 대한 후회를 측정하는 정규화된 기대 가치 차이, (2) 베이스라인 정책 대비 개선 백분율이다. 우리는 이 두 지표 모두에 대해 높은 신뢰도의 경계를 공식화하는 방법을 보인다. 우리는 이산 및 연속 상태 공간 도메인 모두에서 시뮬레이션으로 접근법을 평가하고, 시연 충분성을 정확하게 평가할 수 있는 로봇 시스템을 개발하는 것이 실현 가능함을 보여 준다. 또한 로봇이 특정 상태에서의 시연을 요청할 때 능동 학습을 활용할 수 있으며, 그 결과 로봇이 자신의 정책에 대한 높은 신뢰도를 유지하면서도 더 적은 시연만 필요함을 보인다. 마지막으로, 사용자 연구를 통해 우리 접근법이 너무 많은 시연이나 완벽하게 최적인 시연 없이도 로봇이 사용자가 원하는 성능 수준으로 작동하게 함을 보인다.

링크

• arXiv 2211.15542: https://arxiv.org/abs/2211.15542
• PDF: https://arxiv.org/pdf/2211.15542v1