SORNet: Spatial Object-Centric Representations for Sequential Manipulation

저자: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

SORNet은 각 물체의 정규 뷰 하나가 주어지면 RGB 이미지 속 그 물체를 임베딩한다. 작은 판독용 MLP가 이 임베딩을 처음 보는 물체에 대한 스킬 전제 조건과 3D 방향으로 변환한다.

중요한 이유

예측된 술어는 기호적 작업 및 동작 플래너에 입력되므로, 같은 네트워크를 재학습이나 미세 조정 없이 새로운 작업과 새로운 물체에 사용할 수 있다. 저자들은 실제 로봇의 카메라 이미지에서 예측한 술어로 개루프 실행을 위한 플래너의 상태를 채우고, 방향 예측을 목표 물체로의 시각 서보잉에 사용한다.

문제

순차 조작에서는 플래너가 다음 스킬을 고르기 전에, 예를 들어 블록 윗면이 비어 있는지처럼 물체들 사이에 어떤 공간 관계가 성립하는지 알아야 한다. 명시적 상태 추정기는 임의의 물체 집합, 특히 서로 접촉한 물체로 일반화하기 어렵고, 엔드투엔드 네트워크는 학습된 작업에 묶여 있다. 블록 쌓기로 학습된 네트워크는 블록을 그냥 내릴 수 없다.

제안 방법

SORNet은 장면의 RGB 문맥 패치와 관심 물체의 정규 뷰를 질의 토큰으로 받는 Vision Transformer로, 질의가 장면에서만 읽도록 어텐션이 마스킹되며, 질의 물체마다 하나의 임베딩을 출력한다. 2층 MLP 판독 네트워크가 단일 또는 쌍 임베딩을 단항 및 이항 술어 또는 연속 3D 방향으로 매핑하며, 파라미터는 물체 수와 무관하다. 학습에는 Franka Panda가 블록을 쌓는 새로운 시뮬레이션 데이터셋 Leonardo를 사용하며, 실제 정답 술어로 레이블링되어 있다.

핵심 통찰

• 장면 속 물체의 외관과 일치하지 않아도 되는 정규 물체 뷰를 조건으로 하면, 모델은 재학습 없이 조명, 자세, 가림의 변화 속에서도 처음 보는 물체를 골라낼 수 있다.
• 질의 토큰들 사이의 어텐션과 문맥 패치에서 질의로 향하는 어텐션을 마스킹하면 출력이 순열 등변적이 되므로, 추론 시 임의 개수의 물체를 질의할 수 있다.
• 논리 술어 레이블만으로 학습한 임베딩도 연속적인 공간 정보를 담고 있다. 고정된 임베딩 위의 회귀기가 자세 지도 학습으로 학습한 기준선보다 3D 방향을 더 잘 예측한다.
• 물체 조건화가 없는 기준선은 처음 보는 물체에서 제로샷으로 실패하며, 100-shot 미세 조정 후에도 크게 뒤처진다.
• 세 카메라 뷰를 집계하면 가림 문제에 도움이 되고, 그리퍼 상태를 추가하면 has-object처럼 그리퍼와 관련된 술어가 개선된다.

주요 결과

• CLEVR-CoGenT 제로샷 관계 정확도: valA에서 99.006%, valB에서 98.222%. MDETR은 84.950% / 59.627%, 학습에서 모든 물체를 본 MDETR-oracle은 97.944% / 98.052%이다.
• 처음 보는 물체에 대한 Leonardo 술어 분류(술어 52개): SORNet M-View (G)는 정확도 98.9%, 전체 일치 정확도 63.6%, F1 89.5에 도달한다. 가장 좋은 100-shot 기준선은 92.8%, 4.1%, 0.0이다.
• 물체 5개와 6개 장면(4개로 학습): 정확도 98.5%와 98.0%이며, 술어가 70개와 102개로 늘면서 전체 일치 정확도는 45.5%와 29.7%로 떨어진다.
• 실제 로봇 이미지 30장: 정확도 96.3%, 전체 일치 정확도 26.7%, F1 76.5.
• 스킬 실행 가능성 정확도: SORNet M-View (G)는 76.3%, ResNet18 및 ViT 기준선은 약 27%이며, 기준선들은 grasp, align, place, lift에서 0%를 기록한다.
• 상대 3D 방향 회귀(단위 벡터의 유클리드 오차, 학습 예제 1000개): SORNet(사전 학습, 다중 뷰)은 물체-물체 0.1458, 엔드 이펙터-물체 0.1777이며, ResNet18은 0.4308 / 0.3251, 사전 학습된 CLIP-ViT는 0.6145 / 0.4960이다.

한계

• 판독 네트워크는 단항 및 이항 관계만 다룬다. 세 개 이상의 물체가 관여하는 관계는 향후 과제로 남는다.
• 공간 관계는 단일 RGB 프레임으로부터 예측된다. 시간적 추론은 다루지 않는다.
• 실제 이미지에서 모델은 블록 하나가 두 블록 사이에 쌓인 경우처럼 학습에서 본 적 없는 상황에서 실수를 하며, 실제 이미지 30장에 대한 전체 일치 정확도는 26.7%이다.
• 이항 술어의 수가 이차적으로 늘어나므로 물체가 추가될수록 전체 일치 정확도가 떨어진다(물체 6개에서 29.7%).
• 학습 데이터는 블록 4개 쌓기라는 단일 작업만 다룬다. 실제 로봇 계획 시연은 개루프로 실행되며 보충 영상에서만 제시된다.

분야에 미친 영향

CoRL 2021 Best System Paper Award 최종 후보이며, 인용 수는 82회이다. 논문은 공간 술어로 레이블링된 RGB 관측 데이터셋 Leonardo를 제공하며, 공식 프로젝트 페이지에 코드 링크(github.com/wentaoyuan/sornet)가 있다.

초록

순차 조작 작업에서 로봇은 환경의 상태를 인식하고 원하는 목표 상태로 이어지는 행동 순서를 계획해야 하며, 이때 원시 센서 입력으로부터 물체 개체 간의 공간 관계를 추론하는 능력이 매우 중요하다. 명시적 상태 추정이나 엔드투엔드 학습에 의존하는 기존 연구들은 새로운 물체나 새로운 작업에 어려움을 겪는다. 본 연구에서는 관심 물체의 정규 뷰(canonical view)를 조건으로 RGB 이미지로부터 물체 중심 표현을 추출하는 SORNet(Spatial Object-Centric Representation Network)을 제안한다. SORNet이 학습한 물체 임베딩이 공간 관계 분류, 스킬 전제 조건 분류, 상대 방향 회귀의 세 가지 공간 추론 작업에서 처음 보는 물체 개체에 제로샷으로 일반화되며 기준선을 크게 능가함을 보인다. 또한 학습된 물체 임베딩을 순차 조작의 작업 계획에 사용하는 실제 로봇 실험을 제시한다.

링크

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• 코드: https://github.com/wentaoyuan/sornet
• 프로젝트 페이지: https://wentaoyuan.github.io/sornet