Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

저자: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

OPA는 합성된 도달 및 회피 경로로 그래프 네트워크 정책을 사전 학습한 뒤, 작은 물체별 선호 특징만 업데이트하여 0.5초 미만에 단 한 번의 사람 교정에 적응한다.

중요한 이유

고정된 상호작용 동역학을 물체별 선호와 분리하면, 정책을 재학습하지 않고도 한 번의 교정으로 한 물체에 대한 행동을 바꿀 수 있다. 이 압축된 잠재 공간은 SO(3)에서의 임의의 상대 방향처럼 사전 학습에 없던 행동을 표현할 수 있으며, 데이터가 합성이므로 사전 학습에 사람 시연이 필요 없다.

문제

로봇은 작업 도중 사람이 교정할 때 행동을 바꿀 필요가 있다. 예를 들어 공장에 새로운 스캔 단계가 추가될 때다. 기존 온라인 방법은 상호작용 에피소드를 반복해야 하거나, 사람의 선호를 사람이 고른 고정된 보상 특징 집합에 대한 가중치로 모델링하는데, 이는 학습할 수 있는 내용을 제한하고 새로운 과제로 잘 전이되지 않는다.

제안 방법

OPA는 장면을 로봇과 물체를 노드로 하고 각 물체에서 로봇으로 향하는 에지를 갖는 그래프로 표현한다. 위치와 방향에 대한 공유 관계 네트워크는 수작업으로 설계한 상대 상태 특징과 물체별로 학습되는 작은 선호 특징(위치는 1-D, 방향은 1-D 잠재 변수와 쿼터니언 회전 오프셋)을 입력으로 받고, 집계기가 그 출력을 합산·정규화하여 하나의 행동으로 만든다. 정책은 합성된 Elastic Band 궤적으로 사전 학습된다. 사람의 섭동 후에는 상상된 롤아웃에 대한 몇 번의 경사 단계로 물체별 특징만 업데이트되며, 공유 네트워크 가중치는 고정된 채로 유지된다.

핵심 통찰

• 물체별 선호 특징을 학습 가능한 가중치로 다루면 적응이 압축된 잠재 공간으로 한정된다. 위치에는 5회, 방향에는 20회의 경사 업데이트로 충분했다.
• 사전 학습은 네 가지 상호작용 클래스(더 가까이 또는 더 멀리 이동, 물체의 방향을 무시하거나 고정 오프셋으로 맞추기)만 다루었지만, 적응은 물체에 대한 임의의 3D 상대 방향 같은 새로운 행동을 만들어 냈다.
• 모델 구조 덕분에 학습된 가중치를 해석할 수 있었다. 학습된 2D 회전 오프셋은 학습 중 실제 오프셋으로 수렴했다.
• 포텐셜 필드 방법과 달리 관계 네트워크는 로봇–물체 벡터에 평행한 힘을 출력하도록 강제되지 않으므로, 장애물이 목표와 같은 방향에 있을 때의 실패를 피한다.
• 밀어내는 물체, 끌어당기는 물체, 목표 물체의 위치 특징을 각각 1.0, 0.5, 0.0으로 초기화하자 특징 사이의 보간이 보간된 행동을 만들어 냈으므로, 새 물체는 중간값에서 '무시'로 시작할 수 있다.

주요 결과

• CMU 학생 10명을 대상으로 세 가지 시뮬레이션 매니퓰레이터 과제에서 컴퓨터 키로 섭동을 가하는 사용자 연구를 수행했다.
• 과제 1(깨지기 쉬운 컵을 테이블 위로 낮게 운반): 사용자들은 OPA가 섭동 중 중력 보상으로 전환하는 베이스라인보다 자신의 선호를 더 잘 이해하고, 노력이 덜 들며, 약간 더 예측 가능하다고 평가했다.
• 과제 2(선택한 방향으로 팬을 제시): 평균 방향 오차 0.2576 rad로 가능한 최대값 π/2의 16%였으며, 만족도 사분위수는 5점 척도에서 3.5 / 4.0 / 4.0이었다.
• 과제 3(통에 넣기 전에 바코드 스캔 단계 추가): '내 의도를 이해했다' 사분위수는 5점 척도에서 4.0 / 4.0 / 5.0이었다.
• 온라인 적응은 전체 0.5초 미만이 걸린다. 9개의 병렬 프로세스로 3000개의 합성 궤적을 생성하는 데 4분이 걸린 뒤, 각 네트워크의 사전 학습은 노트북 GPU에서 100 에포크에 12분이 걸린다.

한계

• 저자들은 OPA가 도달과 회피로 구성된 물체 중심 행동에 의존한다고 밝힌다. 파지와 힘 가하기(예: 표면 닦기)는 다루지 않는다.
• 모든 물체를 검출하고, 고유하게 식별하고, 그 6D 자세를 추출할 수 있다고 가정한다. 비정형 환경은 향후 연구로 남겨 두었다.
• 결과는 적응 학습률과 경사 단계 수에 민감하다. 과제 1에서 두 사용자는 로봇이 테이블 근처에 머물거나 목표를 무시하는 것을 보았고, 과제 3에서 두 사용자는 그릇이 스캐너에 더 가까이 이동했어야 한다고 말했다.
• 그리기처럼 물체에 상대적이지 않은 과제 중심 목표는 다루지 않는다.
• 사용자 연구는 실제 로봇과의 물리적 접촉이 아니라, 키보드 키로 섭동을 가한 시뮬레이션 매니퓰레이터를 사용했다.

분야에 미친 영향

ICRA 2023 Outstanding Physical Human-Robot Interaction Paper 상 수상작이며, 인용 수는 7회다. 논문은 동영상, 코드, 보충 자료 링크를 제공하며, 공식 프로젝트 페이지는 코드 저장소를 가리킨다.

초록

로봇이 새로운 환경과 과제에 효과적으로 배치되려면, 개입 중에 사람이 표현하는 피드백을 이해할 수 있어야 한다. 이러한 피드백은 바람직하지 않은 행동을 교정하거나 추가적인 선호를 나타낼 수 있다. 기존 방법은 상호작용 에피소드를 반복해야 하거나 사전에 알려진 보상 특징을 가정하는데, 이는 데이터 효율이 낮고 새로운 과제로 거의 전이되지 않는다. 우리는 사람의 과제를 물체 중심 하위 과제로 기술하고 물리적 개입을 특정 물체와의 관계 속에서 해석함으로써 이러한 가정을 완화한다. 우리의 방법인 Object Preference Adaptation(OPA)은 두 가지 핵심 단계로 구성된다. 1) 다양한 행동을 생성하도록 기본 정책을 사전 학습하고, 2) 사람의 피드백에 따라 모델의 특정 가중치만 온라인으로 업데이트한다. 빠르면서도 단순한 적응의 핵심은 에이전트와 물체 사이의 일반적인 상호작용 동역학은 고정하고 물체별 선호만 업데이트한다는 데 있다. 우리의 적응은 온라인으로 이루어지고, 단 한 번의 사람 개입(원샷)만 필요하며, 학습 중에 한 번도 보지 못한 새로운 행동을 만들어 낸다. 값비싼 사람 시연 대신 저렴한 합성 데이터로 학습한 우리의 정책은 사용자 연구에서 어렵고 현실적인 과제에 대해 사람의 섭동에 인상적인 적응을 보여 준다. 동영상, 코드 및 보충 자료: https://alvinosaur.github.io/AboutMe/projects/opa.

링크

• arXiv 2203.04951: https://arxiv.org/abs/2203.04951
• DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
• PDF: https://arxiv.org/pdf/2203.04951v1
• 코드: https://github.com/Alvinosaur/opa
• 프로젝트 페이지: https://alvinosaur.github.io/AboutMe/projects/opa