Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation

저자: Peter R. Florence, Lucas Manuelli, Russ Tedrake · CoRL 2018

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

로봇이 손목 RGBD 카메라로 물체를 스캔하고, 3D 재구성으로부터 픽셀 단위 기술자를 자기 지도 학습한 뒤, 사용자가 고른 지점을 자세, 변형, 개체를 가로질러 파지한다.

중요한 이유

조밀 기술자를 사용하면 로봇이 신발의 뒤꿈치나 장난감의 귀처럼 물체의 특정 지점을 새로운 자세, 변형, 그리고 같은 클래스의 다른 개체에 걸쳐 가리킬 수 있다. 로봇은 자신의 학습 데이터를 스스로 수집하고 레이블을 달며, 새로운 물체는 약 20분 만에 학습될 수 있다.

문제

일반적인 파지 방법은 파지 가능한 아무 물건이나 집지만 일관된 물체 표현을 유지하지 않으며, 과제 특화 학습은 물체 구성이나 과제 전반에 걸쳐 일반화하기 위해 많은 시도가 필요할 수 있다. 인스턴스 분할은 물체 전체의 마스크만 제공할 뿐 물체의 구조에 대해서는 아무것도 알려주지 않는다. 저자들은 3D 비전 사전 정보를 활용하고 전적으로 자기 지도 학습으로 학습되는, 강체와 비강체 물체를 위한 과제 무관 표현을 원한다.

제안 방법

손목에 RGBD 카메라를 장착한 Kuka 팔이 각 정적 장면을 스캔하고, 순기구학으로 얻은 카메라 자세를 이용한 TSDF 융합이 조밀한 3D 재구성을 만들어, ResNet-34 완전 합성곱 네트워크에 대한 픽셀 단위 대조 손실을 위한 이미지 간 픽셀 대응을 제공한다. 3D 변화 검출로 얻은 물체 마스크는 마스크 기반 매칭 샘플링과 배경 도메인 무작위화를 가능하게 하고, 하드 네거티브 스케일링은 비매칭 손실이 유익한 정보를 유지하게 하며, 교차 물체 손실과 합성 다중 물체 장면은 기술자가 물체마다 구별되도록 만든다. 실행 시 사용자가 참조 이미지에서 픽셀 하나를 클릭하면, 로봇은 새 장면에서 가장 잘 일치하는 기술자를 찾아 대응하는 3D 점을 파지한다.

핵심 통찰

보정된 로봇으로 얻은 정적 장면 3D 재구성은 사람의 레이블 없이 조밀한 픽셀 대응을 제공한다.
정적 장면 데이터 연관만으로는 일관된 물체 기술자를 얻지 못했으며, 물체 마스킹, 배경 및 방향 무작위화, 하드 네거티브 스케일링이 필요했다.
장면 내에서만 학습하면 서로 다른 물체가 기술자 공간에서 겹친다. 교차 물체 손실이 이들을 분리하지만, 저차원 기술자에서는 대응 정밀도가 희생되며 차원을 약간 늘리면 이를 회복한다.
유사한 개체들로 함께 학습하면 기술자가 한 클래스(모자, 신발, 머그잔) 전반에 일반화되며, 'specific' 학습 모드는 매우 유사한 개체들도 분리한다.
기술자를 단위 구에 투영하면 D = 4에서 D = 8로 갈 때 상당한 이득이 있었지만, 하드웨어 실험에서는 사용되지 않았다.

주요 결과

275개 장면에 걸쳐 47개 물체의 기술자가 학습되었으며, 여기에는 3개 클래스(모자 8개, 신발 15개, 머그잔 15개)와 기타 물체 9개가 포함된다.
학습은 단일 Nvidia 1080 Ti 또는 Titan Xp에서 단계당 약 0.22 s로 3500 단계(약 13분) 동안 실행되며, 장면 수집을 포함하면 새 물체 하나에 약 20분이 걸린다.
표준 단일 물체 절차에서는 이미지 쌍의 93%에서 최상의 매칭이 실제 매칭으로부터 이미지 대각선의 13% 이내에 있었다. 이는 저자들이 구현한 Schmidt et al.의 절차보다 우수했으며, 물체 마스킹과 하드 네거티브 스케일링은 각각 측정 가능한 이득을 주었다.
6개 개체만으로 학습한 모자 기술자는 학습에서 한 번도 본 적 없는 색인 파란 모자를 포함해 처음 보는 모자들로 일반화되었다.
로봇 시연: 여러 구성에 걸쳐 애벌레 장난감의 꼬리나 오른쪽 귀를 파지, 신발 4개로 학습한 뒤 처음 보는 신발에서 클래스 일반 지점을 파지, 어수선하게 쌓인 신발 더미에서 특정 신발 하나의 뒤꿈치를 파지.
각 스캔은 약 70 s가 걸리고 30 Hz로 약 2,100개의 RGBD 프레임을 캡처하며, 장면당 약 315개 이미지로 다운샘플링된다.

한계

여러 물체를 다룰 때는 여전히 사람이 로봇을 위해 물체를 교체하고 어떤 장면이 어떤 물체에 해당하는지 지정해야 한다.
충분히 다른 물체들은 기술자를 공유하지 않는다. 의인화된 장난감 Baymax와 Starbot은 일반 기술자를 얻지 못했다.
기술자는 학습이 이루어지기 전에는 파지를 안내할 수 없고 그리퍼 방향을 제약하지 않으므로, 파지는 단순한 기하학적 점군 플래너에 의존한다.
교차 물체 손실은 다중 물체 네트워크의 저차원 기술자 공간에서 대응 정밀도를 낮춘다.
파지 시연은 정성적으로 제시되며, 논문은 파지 성공률을 보고하지 않는다.

분야에 미친 영향

CoRL 2018 Best Paper Award 수상, 인용 321회. 코드, 데이터, 영상이 github.com/RobotLocomotion/pytorch-dense-correspondence에 공개되어 있다.

초록

조작을 위한 올바른 물체 표현은 무엇인가? 우리는 로봇이 장면을 시각적으로 인식하고 그 안의 물체에 대한 이해를 학습하기를 원하며, 그 이해는 (i) 과제와 무관하여 다양한 조작 과제의 구성 요소로 사용될 수 있고, (ii) 강체와 비강체 물체 모두에 일반적으로 적용 가능하며, (iii) 3D 비전이 제공하는 강력한 사전 정보를 활용하고, (iv) 전적으로 자기 지도 학습으로 학습되어야 한다. 이는 이전 방법으로는 달성하기 어렵다. 파지에 관한 최근 연구의 상당수는 특정 물체의 파지나 다른 과제로 확장되지 않으며, 과제 특화 학습은 물체 구성이나 다른 과제 전반에 걸쳐 잘 일반화하기 위해 많은 시도가 필요할 수 있다. 본 논문에서 우리는 자기 지도 조밀 기술자 학습의 최근 발전을 기반으로 하는 Dense Object Nets를 시각적 이해와 조작을 위한 일관된 물체 표현으로 제시한다. 우리는 이 네트워크가 이전에 본 적 없고 비강체일 수도 있는 매우 다양한 물체에 대해 빠르게(약 20분) 학습될 수 있음을 보인다. 또한 다중 물체 기술자 학습을 가능하게 하는 새로운 기여를 제시하고, 학습 절차를 수정함으로써 물체 클래스 전반에 걸쳐 일반화되는 기술자 또는 각 물체 개체마다 구별되는 기술자를 얻을 수 있음을 보인다. 마지막으로, 학습된 조밀 기술자를 로봇 조작에 새롭게 적용하는 것을 시연한다. 변형되었을 수 있는 물체 구성 전반에 걸쳐 물체의 특정 지점을 파지하는 것을 시연하고, 클래스 일반 기술자를 사용해 특정 파지를 한 클래스 내의 물체들 사이에 전이하는 것을 시연한다.

링크

arXiv 1806.08756: https://arxiv.org/abs/1806.08756
DOI 10.48550/arXiv.1806.08756: https://doi.org/10.48550/arXiv.1806.08756
PDF: http://proceedings.mlr.press/v87/florence18a/florence18a.pdf
코드: https://github.com/RobotLocomotion/pytorch-dense-correspondence