Disentangled Relational Representations for Explaining and Learning from Demonstration

저자: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

보조 레이블 손실을 갖춘 β-VAE가 공간 관계 임베딩을 학습하고, 이를 통해 탁상 시연을 기호적 계획과 PR2 엔드 이펙터 자세로 바꾼다.

중요한 이유

사용자는 부분적으로 레이블된 데이터로 로봇에게 공간 어휘를 가르칠 수 있고, 로봇은 이후 새로운 시연을 같은 어휘로 설명하므로, 그 계획을 사람이 읽고 확인할 수 있다. 같은 임베딩이 자세 회귀기에 입력되어, 가르친 기호를 PR2의 팔 동작과 연결한다.

문제

시연 학습은 보상과 정책의 구조에 담긴 귀납적 편향에 의존하며, 로봇공학 전문가가 아닌 사람들은 과제를 명세하는 것보다 시연하는 것을 더 쉽게 여긴다. 언어로 가르침을 받는 로봇은 'left of'나 'on' 같은 추상적 개념을 자신의 고차원 센서 스트림에 접지해야 한다. 기존 관계 모델은 완전히 레이블된 대규모 데이터셋이 필요하고 블랙박스로 동작하거나, 알려진 환경 모델, 기호로의 결정론적 매핑, 완전한 계획을 가정한다.

제안 방법

Siamese β-VAE가 대상 물체와 기준 물체의 마스크된 RGBD 이미지를 물체 임베딩으로 인코딩하고, 변분 연산자가 각 쌍을 개념 그룹(왼쪽/오른쪽, 앞/뒤, 위/아래, 가까움/멂, 위에 있음/없음, 안/밖)마다 축 하나를 갖는 저차원 관계 공간으로 매핑한다. 약하고 일부가 누락된 레이블에 대한 재구성, KL, 교차 엔트로피 항이 이 축들을 인간의 개념과 정렬한다. 시험 시에는 시연의 임베딩 궤적에 대한 우도비 검정으로 어떤 물체가 언제 움직이고 그 관계가 어떻게 변하는지 복원하고, 모든 시연에서 발견된 단계가 계획을 이루며, MLP가 6-DoF 엔드 이펙터 자세를 회귀해 MoveIt! 모션 플래너에 전달한다.

핵심 통찰

명시적인 'unknown' 경우를 둔 약한 레이블만으로도 잠재 축을 인간의 공간 개념과 정렬하기에 충분하다. 레이블이 없는 쌍도 재구성 손실을 통해 여전히 기여한다.
마스크 재구성과 물체 레이블 분류를 결합했을 때 시연 분할에 가장 쓸모 있는 관계 공간을 얻었다. 물체 레이블 손실이 없는 모델은 0 주변에 촘촘히 몰린 관계 임베딩을 만들었으며, 저자들은 이를 그 모델들의 더 약한 분할 성능과 연관 짓는다.
연속된 임베딩에 대해 '움직임' 가우시안과 '정지' 가우시안 사이의 우도비 검정만으로도 어떤 물체가 언제 움직이는지 찾기에 충분하다.
모든 시연에서 발견되는 단계만 남기면, 물체의 왼쪽에서 오른쪽으로 가는 도중 그 뒤를 지나가는 것 같은 부수적인 움직임이 제거된다.
자세 회귀기는 각 과제에 중요한 축에서 가장 정확하다. 위나 안에 놓기에는 위치, 두 컵이 서로 마주 보게 하기에는 롤과 피치이다.

주요 결과

반복적인 BlocksWorld 시연에 대한 계획 분할: 전체 모델(재구성 + 물체 레이블 손실)은 left-right 0.80, front-behind 0.88, below-above 0.91, far-close 0.86, off-on 0.76을 기록했으며, 두 항이 모두 없는 모델은 0.50, 0.64, 0.54, 0.56, 0.49였다.
예외: out-in 그룹에서 전체 모델은 0.56으로, 세 가지 절제 모델(0.66, 0.62, 0.78) 모두보다 낮았다.
한 물체만 움직이는 연쇄 시연: 모든 모델이 C-shape와 jump-over에서 정확도 1, off-on-off에서 약 0.74에 도달했다.
추론된 계획의 평균 편집 거리는 더 많은 시연(최대 8개)을 사용할수록 정답 쪽으로 줄어든다. 일부 시연에서의 물체 가림 때문에 일부 곡선은 수렴하지 않는다.
데이터: 각각 물체 4개가 있는 합성 BlocksWorld 장면 1,000개(관계 72,000개, 40%는 레이블 없음), 그리고 PR2에서 원격 조작 과제 3개 × 시연 20회로 레이블된 물체 쌍 2,400개와 레이블 없는 물체 쌍 6,000개. 자세 예측은 과제당 추가 시연 10회로 시험했다.

한계

과제 핵심 추출은 단일한 행동 순서로 목표를 달성하는 결정론적 과제에서만 작동한다.
파지는 다루지 않는다. 로봇이 옮길 물체를 이미 쥐고 있다고 가정한다.
분할은 학습되지 않는다. 마스크는 로봇에서는 사전 학습된 Mask R-CNN에서, BlocksWorld에서는 시뮬레이터 상태에서 오며, 지시는 파서를 위해 미리 정의된 템플릿을 따라야 한다.
일부 시연에서의 물체 가림 때문에 추론된 계획이 정답으로 수렴하지 못한다.
평가는 세 가지 단순한 탁상 과제를 다룬다. 조합적 과제와 'more to the left' 같은 수식어는 향후 과제로 남겨 둔다.

분야에 미친 영향

CoRL 2019 Best Paper Award 최종 후보, 인용 28회. 공식 프로젝트 페이지는 실험 코드, 데이터 생성 코드, CLEVR 기반의 사실적인 학습 데이터로 연결된다.

초록

시연 학습은 인간 사용자가 원하는 로봇 행동을 지시하는 효과적인 방법이다. 그러나 실용적으로 관심 있는 대부분의 사소하지 않은 과제에서, 효율적인 시연 학습은 보상/비용과 정책에 대해 선택한 구조의 귀납적 편향에 결정적으로 의존한다. 우리는 이 귀납적 편향이 인간 사용자와의 상호작용에서 오는 경우를 다룬다. 우리는 학습 에이전트가 보조 손실 항을 갖춘 고(高)파라미터 변분 신경 모델의 정보 병목 층을 활용해 공간 관계 같은 추상적 개념을 접지(ground)하는 방법을 제안한다. 이 개념들은 자연어 지시에서 언급되며, 에이전트가 세계로부터 받는 고차원 감각 입력 스트림에 나타난다. 우리는 사실적인 합성 환경에서 학습된 모델의 잠재 공간 특성을 평가하며, 특히 다운스트림 과제에서의 활용 가능성을 검토하는 데 집중한다. 또한 일련의 통제된 탁상 조작 실험을 통해, 학습된 매니폴드를 사용해 시연을 기호적 계획으로 접지할 수 있고, 이 계획을 PR2 로봇에서 실행할 수 있음을 보인다.

링크

arXiv 1907.13627: https://arxiv.org/abs/1907.13627
DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
코드: https://github.com/yordanh/spatial_relations_experiments
프로젝트 페이지: https://sites.google.com/view/explain-n-repeat/