Learning to Share Autonomy across Repeated Interaction

저자: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

미리 정한 목표 목록이 없는 공유 자율성: 로봇은 반복된 원격 조작으로부터 과제를 학습하고, 조이스틱 입력으로 과제를 인식하며, 과거 실행을 모방하고, 확신이 없으면 제어권을 돌려준다.

중요한 이유

보조 로봇 암 사용자는 같은 일상 과제를 반복하므로, 그 반복으로부터 학습하는 팔은 누구도 목표 목록을 프로그래밍하지 않아도 원격 조작 부담을 줄일 수 있다. 판별기 기반의 제어권 반환은 목표 추론 방법에서 나타나는 교착 상태, 즉 사용자가 알려지지 않은 목표로 향할 때 로봇이 저항하는 문제를 피한다.

문제

보조 로봇 암을 위한 공유 자율성 방법은 사용자가 도달할 수 있는 목표 집합이나 사용자가 최적화하는 보상 같은 사전 지식이 필요하다. 로봇이 알지 못하는 냉장고를 여는 것처럼 사용자가 그 집합 밖의 과제를 시도하면 로봇은 도울 수 없으며, 오히려 잘못된 알려진 목표 쪽으로 밀어붙일 수도 있다.

제안 방법

로봇은 모든 원격 조작 상호작용을 저장하고, 사용자의 현재 상태와 조이스틱 명령을 잠재 과제로 매핑하는 인코더와, 그 과제에 대한 사용자의 과거 행동을 재현하는 보조 관절 속도를 출력하는 디코더 정책을 학습한다. 본 상호작용과 그것을 잡음으로 변형한 것을 구별하도록 학습된 별도의 판별기가 현재 상호작용이 얼마나 친숙한지 점수를 매기며, 이 점수가 로봇과 사람 행동 사이의 혼합 비율 β를 정한다. 모델은 상호작용 사이마다 재학습되므로 새로운 과제가 지속적으로 학습된다.

핵심 통찰

일상생활의 반복이 돕는 법의 학습을 가능하게 한다. 로봇은 사용자가 원하는 과제가 무엇인지 들을 필요가 전혀 없다.
행동을 선택하기 전에 상호작용을 잠재 과제로 인코딩하면, 상호작용에 직접 조건화한 행동 복제(DAgger)보다 목표 도달이 개선되었다.
친숙도를 위한 별도 판별기는 알려진 과제에서 DropoutDAgger의 자체 평가 불확실성보다 안정적인 확신을 주었다. DropoutDAgger는 작은 편차에도 제어권을 돌려주었다.
혼합된 행동이 아니라 사람의 명령만을 인코더 입력으로 사용하면, 로봇이 자신의 행동으로 목표를 스스로 확신하게 되는 피드백 루프를 피할 수 있다.
고정된 목표 집합에 대한 베이즈 목표 추론은 알려지지 않은 과제에서 교착 상태에 빠질 수 있다. 부록에서는 사용자가 서랍을 열 때 로봇이 근처의 메모장 쪽으로 끌어당기는 사례를 보여 준다.

주요 결과

목표 3개와 학습 시연 3개 또는 5개를 사용한 도달 절제 실험에서, 사용자가 처음 0.5 s만 안내했을 때 인코더 기반 접근법은 같은 데이터를 받은 DAgger보다 더 낮은 최종 상태 오차로 목표에 도달했다.
유리잔 들어 올리기 기술을 사전에 다섯 번 반복한 경우, 접근법은 처음부터 끝까지 확신을 유지했지만 DropoutDAgger는 거의 도움을 주지 않았다.
서랍 기술을 다섯 번 반복하여 학습한 접근법은 시험한 모든 잡음 수준에서 서랍 과제의 사람 노력을 줄였으며, 본 적 없는 캔 도달 과제에서는 No Assist보다 더 많은 노력을 요구하지 않았다.
참가자 10명의 연구에서 알려진 두 목표에 도달하는 사람 노력은 이 접근법과 베이즈 공유 자율성 기준선 사이에 유의미한 차이가 없었다.
참가자들이 새로운 두 과제를 각각 9회 수행하고 세 번의 시행마다 재학습했을 때, 로봇은 6개의 시연으로 학습한 뒤 서랍 기술을 인식하고 도움을 제공했다. 모든 과제로 학습한 모델은 과제별 모델과 비슷한 수준으로 원래 목표를 도왔다.
저자들은 이 방법이 실용적인 수(10회 미만)의 상호작용으로부터 학습한다고 밝힌다.

한계

이 접근법은 공동 적응을 명시적으로 모델링하지 않는다. 사용자가 로봇을 신뢰하게 되면 원격 조작 방식을 바꿀 수 있으며, 예를 들어 조이스틱 입력을 완전히 멈출 수도 있다.
사용자 연구 참가자 10명은 대학 커뮤니티 출신이며, 신체 장애를 안고 사는 사용자가 아니었다.
실험은 휠체어 장착 팔이 아니라 단순화된 가정 환경의 고정된 7-DoF 팔을 사용했다.
시뮬레이션 실험은 실제 사용자 대신 명령에 가우스 잡음을 더한 시뮬레이션 조작자를 사용한다.

분야에 미친 영향

이 논문은 IROS 2021 Best RoboCup Paper Award 최종 후보였으며 인용 수는 16회이다. 실험 영상을 링크하지만 코드나 데이터 공개는 명시하지 않는다.

초록

휠체어 장착 로봇 암(및 기타 보조 로봇)은 사용자가 일상 과제를 수행하도록 도와야 한다. 로봇이 이러한 도움을 제공하는 한 가지 방법은 공유 자율성이다. 공유 자율성에서는 사람과 로봇이 모두 로봇의 움직임에 대한 제어를 유지한다. 로봇은 사람이 원하는 것을 이해했다고 확신할수록 점점 더 개입하여 과제를 자동화한다. 그러나 로봇은 애초에 사람이 어떤 과제를 수행하고 싶어 할지 어떻게 알 수 있을까? 오늘날의 공유 자율성 접근법은 흔히 사전 지식에 의존한다. 예를 들어 로봇은 가능한 사람의 목표 집합을 미리 알고 있어야 한다. 그러나 장기적으로 이러한 사전 지식은 필연적으로 무너진다. 조만간 사람은 로봇이 예상하지 못한 목표를 향해 손을 뻗을 것이다. 본 논문에서는 반복되는 상호작용을 활용하는 공유 자율성 학습 접근법을 제안한다. 사람이 매번 상호작용할 때마다 완전히 다른 과제를 수행한다면 사람을 돕는 법을 학습하는 것은 불가능할 것이다. 그러나 우리의 통찰은 신체 장애를 안고 사는 사용자들이 중요한 과제를 매일 반복한다는 것이다(예: 냉장고 열기, 커피 만들기, 저녁 식사하기). 우리는 이러한 반복된 상호작용을 활용하여 사람의 과제를 인식하고, 유사한 시연을 재현하며, 확신이 없을 때 제어권을 돌려주는 알고리즘을 소개한다. 사람이 이 로봇과 반복해서 함께 작업함에 따라, 우리의 접근법은 사전에 지정되지 않은 과제를 돕는 법을 지속적으로 학습한다. 이러한 과제에는 이산적인 목표(예: 컵에 손 뻗기)와 연속적인 기술(예: 서랍 열기)이 모두 포함된다. 시뮬레이션과 대면 사용자 연구 전반에서, 우리의 접근법을 활용하는 로봇이 알려진 목표에 대해서는 기존 공유 자율성 방법과 대등하고, 새로운 과제에서는 모방 학습 기준선을 능가함을 보인다. 영상은 여기에서 볼 수 있다: https://youtu.be/NazeLVbQ2og

링크

arXiv 2107.09650: https://arxiv.org/abs/2107.09650
DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
PDF: https://arxiv.org/pdf/2107.09650v1