Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

저자: Francesco Del Duchetto, Marc Hanheide · IROS 2022

라이선스

• 오픈 액세스
• 논문: CC BY-SA 4.0

아래 내용은 모두 논문의 라이선스(CC BY-SA 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

박물관 투어 가이드 로봇 Lindsey는 카메라로 추정한 관람객 참여도를 보상으로 사용하는 UCBVI로 투어를 온라인으로 적응시켜, 방문한 전시물 수를 22.8%, 완료율을 ~30% 높인다.

중요한 이유

학습은 실험실이나 시뮬레이션이 아니라, 훈련받지 않은 관람객이 언제든 끼어들거나 떠날 수 있는 비정형 공공장소의 실제 로봇에서 이루어진다. 자동으로 추정한 참여도 신호만을 유일한 피드백으로 사용하며, 별도의 데이터 수집 단계와 학습 단계가 없다. 학습 후 2주간 정적 정책으로 되돌아가 봄으로써, 향상이 봉쇄 해제 이후의 관람객 행동 같은 다른 효과가 아니라 학습된 정책에서 비롯되었음을 확인한다.

문제

Lindsey는 영국 링컨의 The Collection 박물관에서 103일 동안 2,300회가 넘는 투어를 진행했지만, 관람객이 완료한 투어는 약 18%에 불과했다. 사회적 로봇은 자신의 행동이 사용자에게 어떤 영향을 미치는지 경험으로부터 학습해야 하지만, 목표인 사용자 참여도는 센서로만 추정할 수 있는 내부 상태이다. 실제 로봇에서의 탐색은 또한 시간 비용이 크고 실제 세계의 동역학에 의해 제한된다.

제안 방법

투어는 페트리 넷 계획으로 명세되며, 그 행동(전시물로 이동, 전시물 설명, 더 자세한 설명, 투어 종료)은 유효한 후속 시퀀스로 제약된다. 로봇의 GPU에서 실행되는 종단 간 회귀 모델이 약 1 Hz로 카메라 영상에서 참여도를 추정하며, 각 행동 동안의 평균값은 LOW, MEDIUM, HIGH로 구간화되어 상태와 보상 모두에 사용된다. Upper-Confidence-Bound Value Iteration(UCBVI) 알고리즘은 원래 정적 정책으로 진행한 수천 회의 투어로 방문 횟수를 초기화하고 σ = 20으로 탐색 보너스를 설정하며, 매 투어 후 정책을 갱신한다.

핵심 통찰

• 첫 번째 정류 지점에서 LOW 참여도를 보인 관람객은 투어를 계속할 확률이 약 20% 낮으며, 이는 참여도를 사용해 행동을 선택하는 동기가 된다.
• 학습된 정책은 전시물 순서를 바꾸고 추가 설명을 언제 할지 결정한다. 투어 초반에는 추가 설명을 더 자주 하고, 이후에는 참여도가 MEDIUM 또는 HIGH일 때만 한다.
• 정적 정책 투어로 UCBVI를 초기화하면 그 데이터를 재사용하면서 보너스가 탐색을 덜 탐색된 상태–행동 쌍으로 이끈다. 보너스는 또한 로봇이 새로운 행동을 시도하기 전에 충분히 탐색되지 않은 행동을 연속된 투어에서 반복하게 만드는데, 저자들은 이것이 일관된 행동에 유용하다는 것을 발견했다.
• 보상이 항상 양수이므로, 보상 함수는 암묵적으로 더 긴 투어를 선호한다.

주요 결과

• 8주간의 학습 단계 동안 투어당 평균 방문 전시물 수는 이전의 정적 정책 기간보다 22.8% 증가했으며, 정적 정책으로 진행한 2주간의 검증 단계에서는 이전 수준으로 돌아갔다.
• 투어 성공률(모든 정류 지점을 방문한 투어)은 정적 투어에 비해 30% 넘게 상승했다. 초록은 이를 투어 완료 확률의 30% 증가로 기술한다.
• 학습된 정책에서는 연속된 행동 사이에 참여도가 거의 50%의 경우 안정적으로 유지되었으며, 이전에는 증가, 감소, 유지의 확률이 대략 같았다.
• 2022년 초까지 탐색은 상태–행동 공간의 약 13%에만 도달했다. 5주간 계속하는 시뮬레이션에서는 새로 탐색 가능한 상태의 수가 시간이 지남에 따라 감소했다.
• 감지된 평균 참여도는 이전 기간 및 검증 기간에 비해 학습 단계 동안 감소했다.

한계

• 상태–행동 공간의 일부만 탐색되었으며, 저자들은 이러한 실제 환경에서 완전한 탐색은 현실적으로 달성할 수 없다고 밝힌다. 일부 상태는 사용자 행동이 허용할 때만 도달할 수 있다.
• 박물관이 COVID 봉쇄 후 재개관한 뒤 감지된 참여도가 떨어졌는데, 마스크 착용이 참여도 모델에 영향을 주었기 때문일 수 있다. 연구는 거의 3년에 걸쳐 있으며 관람객 행동에 영향을 주는 요인이 많다.
• UCBVI 보너스는 사용자 선호가 바뀌어 잘 탐색된 영역의 추정치가 낡게 되는 때를 인식하지 못한다. 저자들은 과거 추정치와의 발산에 기반한 보너스를 향후 과제로 제안한다.
• 전반적인 이탈 감소를 제외하면, 저자들은 학습된 정책과 정적 정책 사이에서 투어 중단이나 포기에 다른 유의미한 차이를 발견하지 못한다.
• 연구는 한 박물관 전시실의 로봇 한 대와 전시물 5~6개로 이루어진 투어 4개를 다루며, 가이드 투어 상호작용만 고려한다.

분야에 미친 영향

이 논문은 IROS 2022 Best Paper Award on Cognitive Robotics (sponsored by KROS)의 최종 후보에 올랐으며 인용 수는 14회이다. 논문은 코드나 데이터를 공개하지 않는다.

초록

본 연구에서는 공공장소에 장기간 배치된 자율 로봇이 사용자 상호작용으로부터 온라인으로 자신의 행동을 적응시킬 수 있게 하는 프레임워크를 제안한다. 로봇 행동 계획은 강화학습(RL) 프레임워크에 내장되며, 그 목표는 상호작용 동안 전체 사용자 참여도 수준을 최대화하는 것이다. 우리는 실시간 상호작용에서 탐색-활용 트레이드오프를 관리하는 유용한 방법을 제공하는 Upper-Confidence-Bound Value-Iteration(UCBVI) 알고리즘을 사용한다. 종단 간으로 학습된 참여도 모델이 정책 실행 중에 실시간으로 보상 함수를 생성한다. 우리는 로봇이 관람객을 위한 투어 가이드로 배치된 영국 링컨의 공공 박물관에서 이 접근법을 시험한다. 결과는 두어 달의 탐색 후 로봇 정책이 사용자의 참여를 더 오래 유지하도록 학습했음을 보여주며, 초기 정적 정책 대비 투어 중 방문한 항목 수가 22.8% 증가하고 투어를 완료할 확률이 30% 증가했다. 본 연구는 사회적 환경에서의 로봇 응용을 위한 장기 시나리오에서의 행동 적응을 향한 유망한 단계이다.

링크

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1