Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

저자: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

도메인 무작위화 이미지와 사실적인 합성 이미지를 섞은 데이터로만 학습한 키포인트 네트워크가 실제 로봇 파지에 충분할 만큼 6-DoF 물체 자세를 추정한다.

중요한 이유

로봇은 알려진 새 물체를 학습하는 데 실제 레이블 이미지가 필요 없으며, 자세가 직접 회귀가 아니라 PnP로부터 나오기 때문에 네트워크를 재학습 없이 다른 카메라에 사용할 수 있다. 논문은 추정치가 Baxter에서 위에서 내려 잡는 파지, 다른 물체 위로의 집어 놓기(pick-and-place), 사람으로부터의 물건 건네받기에 충분할 만큼 정확함을 보인다.

문제

알려진 물체를 조작하려면 그 3D 위치와 방향이 필요하지만, 실제 이미지에서 6-DoF 자세에 레이블을 다는 일은 노동 집약적이어서, 네트워크는 보통 시험 세트와 밀접하게 상관된 실제 데이터로 학습되고 새로운 카메라와 조명에 잘 일반화하지 못한다. 합성 데이터는 레이블 작업을 피하지만 현실 격차를 겪으며, 도메인 무작위화만으로는 경쟁력을 갖추기 위해 실제 데이터로 미세 조정이 필요했다.

제안 방법

DOPE는 6단계 완전 합성곱 네트워크(VGG-19의 처음 10개 층과 convolutional pose machines에서 영감을 받은 단계들)로, 투영된 직육면체 꼭짓점 8개와 중심점에 대한 믿음 맵(belief map), 그리고 꼭짓점에서 중심점을 가리키는 벡터장을 출력한다. 피크는 탐욕적으로 물체 개체별로 묶인 뒤 카메라 내부 파라미터 및 물체 치수와 함께 perspective-n-point(PnP) 솔버에 전달되어 자세를 복원한다. 학습에는 저자들의 Unreal Engine 4용 NDDS 플러그인으로 렌더링한 YCB 물체의 도메인 무작위화 이미지 약 60k장과 사실적인 이미지 60k장이 사용된다.

핵심 통찰

도메인 무작위화 합성 데이터와 사실적인 합성 데이터는 서로를 보완한다. 120k 혼합 세트는 어느 한 유형만으로 된 훨씬 큰 세트보다 우수했다.
2D 키포인트를 예측하고 PnP를 푸는 방식은, 자세를 직접 회귀하는 방법과 달리 카메라 내부 파라미터를 네트워크 가중치에서 분리한다.
네트워크 단계를 하나 추가할 때마다 정확도는 오르고 시간은 늘어난다. 뒤쪽 단계가 더 넓은 수용 영역을 사용해 앞 단계의 모호성을 해소하기 때문이다.
합성 데이터만으로 한 학습은 다른 카메라와 극단적인 조명에 대해, 실제 학습 이미지가 시험 세트와 같은 카메라에서 나온 PoseCNN보다 더 잘 일반화되었다.
렌더러가 모델링하지 않는 재질은 검출 누락을 일으킨다. 고기 통조림 캔의 반사하는 금속 윗면은 그것이 유일하게 보이는 부분일 때 인식되지 않았다.

주요 결과

YCB-Video에서 합성 데이터로만 학습한 DOPE는 5개 물체 중 4개에서 PoseCNN(합성 데이터와 실제 YCB-Video 데이터로 학습)보다 ADD 곡선 아래 면적이 더 컸고, Baxter 그리퍼의 파지 오차 한계인 약 2 cm 미만에서 더 우수했다.
설탕 상자, 도메인 무작위화 데이터만: AUC는 2k장에서 0.25, 10k장에서 54.22, 100k장에서 약 60.6으로 올랐고, 300k장에서 66.64로 최고치에 도달했다. 사실적인 데이터만으로는 600k장에서 62.94가 최고였다. 120k 혼합 세트는 77.00에 도달했다.
혼합 비율: 한쪽 데이터셋 전체와 함께 다른 쪽 데이터셋을 최소 40% 이상 포함하는 한, 모든 네트워크의 성능이 비슷했다.
단계 수 대 시간(물체 추출과 PnP 포함): 1단계는 57 ms에 AUC 46.44, 6단계는 232 ms에 AUC 75.69.
Baxter의 위에서 내려 잡는 파지, 혼잡 환경에서 물체당 12회 시도: 크래커 상자 10, 고기 통조림 캔 10, 머스터드 병 11, 설탕 상자 11, 토마토 수프 캔 7(캔을 옆으로 눕히면 9).

한계

합성 데이터가 반사하는 금속 윗면을 모델링하지 않기 때문에 심하게 가려진 고기 통조림 캔은 자주 검출되지 않는다.
둥근 물체는 위에서 내려 잡는 파지가 어렵다. 똑바로 선 수프 캔은 12회 중 7회 성공했다.
파지는 폐루프 서보잉 없이 수행된다. 오차는 자세 추정, 카메라-로봇 보정, 부정확한 로봇 제어에서 오며, 제어가 큰 역할을 하는 것으로 보인다.
이 방법은 치수가 알려진 강체 물체와 알려진 카메라 내부 파라미터를 가정한다. 저자들은 더 많은 물체, 대칭 처리, 폐루프 정제를 향후 과제로 꼽는다.
PoseCNN과의 극단적 조명 비교는 정성적일 뿐이다.

분야에 미친 영향

인용 778회. 논문은 NVIDIA 프로젝트 페이지의 영상과 코드를 안내하며, 그 페이지는 DOPE 코드 저장소로 연결된다. 사실적인 학습 데이터는 Falling Things(FAT) 데이터셋으로 공개되었고, NDDS 데이터 생성 플러그인은 GitHub에 있다.

초록

로봇 조작을 위한 심층 신경망 학습에 합성 데이터를 사용하면, 위험과 무관하게 안전하게 생성된, 미리 레이블된 학습 데이터를 거의 무제한으로 얻을 수 있다는 가능성이 열린다. 지금까지 합성 데이터의 핵심 과제 중 하나는 이른바 현실 격차(reality gap)를 메워, 합성 데이터로 학습한 네트워크가 실제 세계 데이터에 노출되었을 때 올바르게 동작하도록 하는 것이었다. 우리는 단일 RGB 이미지로부터 알려진 물체의 6-DoF 자세를 추정하는 맥락에서 현실 격차를 탐구한다. 우리는 이 문제에서 도메인 무작위화 데이터와 사실적인 데이터의 단순한 조합으로 현실 격차를 성공적으로 메울 수 있음을 보인다. 이렇게 생성한 합성 데이터를 사용해, 실제 데이터와 합성 데이터의 조합으로 학습한 최신 네트워크와 대등하게 경쟁할 수 있는 원샷 심층 신경망을 소개한다. 우리가 아는 한, 이는 합성 데이터로만 학습하여 6-DoF 물체 자세 추정에서 최고 수준의 성능을 달성할 수 있는 최초의 심층 네트워크이다. 우리의 네트워크는 또한 극단적인 조명 조건을 포함한 새로운 환경에 더 잘 일반화하며, 이에 대해서는 정성적 결과를 제시한다. 이 네트워크를 사용해, 실제 로봇이 혼잡 환경에서 알려진 가정용 물체를 실제 세계에서 의미 기반으로 파지하기에 충분한 정확도로 물체 자세를 추정하는 실시간 시스템을 시연한다.

링크

arXiv 1809.10790: https://arxiv.org/abs/1809.10790
DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
코드: https://github.com/NVlabs/Deep_Object_Pose
프로젝트 페이지: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose