Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

저자: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

HOPMan은 웹 영상을 이용해 장면 이미지와 목표 이미지로부터 미래의 손과 물체 마스크를 예측한 다음, 그 계획을 Franka Panda 행동으로 번역하여 16개 기술과 40개 물체를 제로샷으로 다룬다.

중요한 이유

손과 물체가 어떻게 움직이는지에 대한 지식 대부분이 수동적인 웹 영상에서 오므로 로봇 전용 데이터는 적게 유지된다. 저자들은 약 3일 동안 600개의 쌍 궤적을 수집했다. 하나의 목표 조건부 정책을 처음 보는 물체 인스턴스, 처음 보는 물체-기술 쌍, 처음 보는 물체 범주, 처음 보는 기술에 대해 시험하며, 여기에는 개조하지 않은 주방과 사무실에서 모바일 베이스 위에서 수행한 시험도 포함된다.

문제

모든 작업, 물체, 기술에 대해 로봇 상호작용 데이터를 수집하는 방식은 확장되지 않으며, 최근의 광범위한 능력을 가진 시스템들은 수년 분량의 로봇 데이터가 필요했음에도 대체로 집기, 놓기, 밀기에 한정되어 있다. 시각 표현이나 어포던스를 위해 인간 영상을 사용하는 방법도 여전히 많은 로봇 시연이나 배치 시점 학습이 필요하며, 다른 방법들은 작업마다 별도의 정책을 학습한다.

제안 방법

정책은 두 부분으로 분해된다. 하나는 현재 이미지와 목표 이미지로부터 미래의 손 및 물체 마스크 프레임 7장을 예측하는 목표 조건부 확산 모델로, EPIC-KITCHENS와 Ego4D의 약 150,000개 2초 클립으로 학습된다. 다른 하나는 예측된 마스크와 현재 관측을 8-D 행동(관절 위치 7개와 그리퍼 열기/닫기)으로 매핑하는 트랜스포머 번역 정책이다. 번역 모델은 실험실 내 약 400개와 실환경 약 200개의 인간-로봇 쌍 궤적, 그리고 로봇을 인페인팅으로 지우고 인간의 손을 인페인팅으로 넣은 약 1000개의 로봇 전용 궤적으로 학습된다.

핵심 통찰

손과 조작 대상 물체의 의미론적 마스크는 작업과 무관한 장면 세부 정보를 버리는 간결한 계획 공간을 이루며, 정제되지 않은 인간 영상으로부터 학습할 수 있다.
정책을 계획 예측과 계획-행동 번역으로 나누면, 데이터를 많이 요구하는 부분은 웹 영상에서 학습하고 로봇 전용 부분은 적은 쌍 데이터만 필요하게 된다.
환각 생성된 쌍(팔을 인간의 손으로 인페인팅한 로봇 영상)은 불완전함에도 실제 쌍 데이터에 추가했을 때 번역 모델을 개선했다.
논문은 구조화된 일반화 척도를 제안한다. 약한 일반화(본 적 있는 물체와 기술의 새로운 구성), 표준 일반화(새로운 인스턴스, 처음 보는 물체-기술 조합), 강한 일반화(처음 보는 물체 범주, 처음 보는 기술)이다.

주요 결과

약한 / 인스턴스 / 처음 보는 조합 / 처음 보는 범주 / 처음 보는 기술 일반화에 대한 HOPMan의 테이블 위 성공률(%): 68 / 58 / 50 / 40 / 25. 목표 조건부 BC는 43 / 20 / 13 / 0 / 0, VRB는 50 / 25 / 15 / 0 / 0을 기록했다.
HOPMan의 실환경 성공률(%): 60 / 40 / 40 / 30 / 25로, BC의 45 / 10 / 10 / 0 / 0, MimicPlay 기반 MP 베이스라인의 50 / 15 / 10 / 0 / 0과 비교된다.
수동적인 인간 영상만으로 학습한 H2R은 테이블 위에서 20 / 20 / 15 / 15 / 15, 실환경에서 15 / 10 / 15 / 15 / 10을 기록했다. 강한 일반화에서 0보다 높은 유일한 베이스라인이었다.
실제 손-물체 마스크가 주어졌을 때 번역 모델 단독 성능(%): 쌍 데이터와 환각 생성 데이터 85 / 65 / 60 / 60 / 25, 쌍 데이터만 85 / 60 / 50 / 30 / 15, 환각 생성 데이터만 30 / 25 / 25 / 20 / 0.
평가는 16개 기술과 각각 2~3개 인스턴스를 가진 40개 물체 유형으로 구성된 약 100개 작업에 걸친다.

한계

저자들은 다룬 처음 보는 작업이 여전히 복잡도 면에서 제한적이라고 말하며, 여러 기술을 조합하는 장기 수평선 작업은 향후 과제로 남긴다.
웹 영상에서 정확한 손과 손가락 관절 구성을 복원하는 것은 여전히 미해결 문제이므로, 저자들은 이 프레임워크가 정교한 조작에서는 어려움을 겪을 것으로 예상한다.
강한 일반화에서의 성공률은 테이블 위에서 25~40%, 실환경에서 25~30%에 머문다.
성공 여부는 최종 물체 구성이 목표 이미지에 얼마나 가까운지를 수작업으로 검사해 판단하며, 설정당 시행 횟수는 명시되지 않았다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award in Robot Manipulation 최종 후보에 올랐으며 인용 수는 82회다. 논문은 로봇 영상이 있는 프로젝트 웹사이트를 링크하지만, 코드 저장소는 제공하지 않는다.

초록

우리는 다양한 조작 기술 레퍼토리를 통해 처음 보는 일반 물체와 제로샷으로 상호작용할 수 있는 로봇을 개발하는 것을 목표로 하며, 수동적인 인간 영상이 이러한 범용 로봇을 학습하기 위한 풍부한 데이터 원천이 될 수 있음을 보인다. 상호작용 데이터로부터 로봇이 어떻게 행동해야 하는지를 직접 학습하는 일반적인 로봇 학습 접근법과 달리, 우리는 대규모 인간 영상을 활용해 인간이 원하는 작업을 어떻게 수행할지(인간의 ‘계획’)를 학습한 뒤, 이 계획을 로봇의 신체로 ‘번역’하는 분해된 접근법을 채택한다. 구체적으로, 우리는 장면의 현재 이미지와 목표 이미지가 주어지면 미래의 손과 물체 구성을 예측하는 인간 ‘계획 예측기’를 학습한다. 우리는 이를 계획 조건부 로봇 조작 정책을 학습하는 ‘번역’ 모듈과 결합하여, 배치 시점 학습 없이 제로샷 방식으로 일반 조작 작업에 대한 인간의 계획을 따를 수 있게 한다. 중요한 점은, 계획 예측기는 학습에 대규모 인간 영상을 활용할 수 있는 반면, 번역 모듈은 소량의 도메인 내 데이터만 필요하고 학습 중에 보지 못한 작업으로 일반화할 수 있다는 것이다. 우리는 학습된 시스템이 40개 물체로 일반화되는 16개 이상의 조작 기술을 수행할 수 있음을 보이며, 이는 테이블 위 조작과 다양한 실환경(in-the-wild) 조작을 위한 100개의 실제 작업을 아우른다. https://homangab.github.io/hopman/

링크

arXiv 2312.00775: https://arxiv.org/abs/2312.00775
DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
PDF: https://arxiv.org/pdf/2312.00775v1
프로젝트 페이지: https://homangab.github.io/hopman/