Reactive Human-To-Robot Handovers of Arbitrary Objects

저자: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

손을 분할하고 남은 것을 잡는다. 비전 기반 시스템으로 Franka Panda가 사람에게서 26가지 서로 다른 가정용 물체를 받아 들고, 물체가 움직이면 다시 계획한다.

중요한 이유

물체가 사전 학습된 검출기의 범주에 속할 필요가 없으며, 저자들은 이를 가장 가까운 선행 연구의 주요 병목으로 꼽는다. 폐루프 덕분에 로봇은 움직이기 시작한 뒤 사람이 돌린 물체를 따라갈 수 있는데, 이는 그 선행 연구에서 보고된 실패 대부분의 원인이었다.

문제

보조 로봇은 사람에게서 많은 종류의 물체를 받아야 하지만, 대부분의 건네주기 연구는 단일 물체를 사용했고 조사된 논문 중 6개가 넘는 물체를 사용한 것은 하나뿐이었다. 손에서 물체를 받는 것은 정지한 물체를 잡는 것과 다르다. 물체가 움직일 수 있고, 손가락에 일부가 가려지며, 접근 방향이 제한되고, 로봇의 동작이 안전하게 느껴져야 한다.

제안 방법

시스템은 Azure Kinect Body Tracking SDK로 추적한 손 주변의 점군을 잘라 내고, 자동 생성된 마스크로 학습한 ResNet-50 기반 Feature Pyramid Network로 RGB 이미지에서 손을 분할하며, 나머지 점들을 물체로 레이블링한다. 6-DOF GraspNet이 파지를 제안하면 그 파지 평가기를 사용한 Metropolis-Hastings 샘플링으로 프레임마다 정제하고, 손과 충돌하는 파지는 제거하며, Riemannian Motion Policies를 갖춘 Robust Logical Dynamical Systems 작업 모델이 접근 자세를 선택하고 실행한다.

핵심 통찰

• 잘 정의된 작업인 손 분할을 수행하고 잘라 낸 나머지 점들을 물체로 레이블링하면, 처음 보는 물체를 직접 분할할 필요가 없어진다.
• 손에 대한 학습용 마스크는 추적한 맨손을 점군에서 잘라 내 이미지에 투영함으로써 사람 주석자 없이 만들 수 있다.
• 이전 프레임의 파지를 파지 평가기로 정제하면 GraspNet을 재학습하지 않고도 파지를 시간적으로 일관되게 유지할 수 있다. 빠른 손 움직임 속에서 살아남는 파지가 너무 적으면 파지를 다시 샘플링한다.
• 접근 자세를 이전 최선의 파지와 홈 자세까지의 거리로 점수화하면 사람을 추적하는 동안 동작을 부드럽게 유지할 수 있다.
• 각 파지를 Z축을 중심으로 180° 회전시키면 두 손가락 그리퍼의 후보 집합이 두 배가 된다.

주요 결과

• 손 분할 모델은 같은 방식으로 수집한 검증 세트에서 픽셀 정확도 99.7%, 빈도 가중 IoU 99.5%, 평균 IoU 68.0%에 도달한다.
• 바나나, 장난감 마요네즈 병, 장난감 시리얼 상자를 평평하게, 45°로, 90°로 들고 진행한 체계적 테스트: 전체적으로 건네주기당 11.39 ± 4.29 s, 성공률 90%였으며, 바나나 100%, 병 90%, 시리얼 상자 82%였다.
• 로봇이 움직이기 시작한 뒤 물체를 회전시킨 경우: 0–45°에서는 11.81 ± 3.93 s에 100% 성공, 0–90°에서는 15.41 ± 7.39 s에 69% 성공했다.
• 참가자 6명이 물체 10개를 건네준 사용자 연구: 평균 접근 시간 10.7 ± 3.6 s, 시도 횟수 1.3 ± 0.3회, 성공률 81.8%였으며, 펜(50.0%), 머그(54.5%), 숟가락(66.7%)이 가장 낮았다.
• 본문(Sections V-A, V-B, VI-B)은 모든 물체를 결국 받아 들었고 체계적 테스트에서는 세 번 이하의 시도 안에 받았다고 하지만, Tables I과 II는 여러 물체에 대해 100% 미만의 성공률을 제시한다.
• 설문 평가는 모든 차원에서 대략 4 이상이었으며, 참가자 간 분산은 작았다.

한계

• 실패는 어두운 표면에서의 깊이 누락, 분할 네트워크가 물체를 손으로 레이블링한 경우, 그리고 주변 물체로 인해 잘라 낸 점군에 생긴 잡음에서 비롯되었다(저자들이 밝힘).
• 역기구학의 계산 비용이 로봇이 목표 파지를 갱신할 수 있는 속도를 제한한다. 참가자들은 더 빠르고 매끄러운 동작을 요청했다(저자들이 밝힘).
• 사용자 연구 참가자는 6명이었으며, 팬데믹 안전 수칙 때문에 모두 연구실에서 모집했다(저자들이 밝힘).
• 사람은 로봇이 잡을 수 있는 상태로 물체를 들고 있어야 한다.
• 체계적 평가에는 사용자 1명과 물체 3개가 사용되었으며, 로봇이 세 번 성공할 때까지 건네주기를 반복했다.

분야에 미친 영향

IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI)을 수상했으며 인용 수는 99회이다. 논문은 추가 결과와 영상이 있는 프로젝트 페이지를 링크하며, 코드나 데이터셋 공개는 명시하지 않는다.

초록

인간-로봇 물체 건네주기는 지난 10년간 로봇공학에서 활발히 연구된 분야였지만, 외관, 크기, 형상, 강성이 임의인 다양한 물체를 건네주는 과제를 다룬 기법과 시스템은 매우 적다. 본 논문에서는 처음 보는 물체에 대해 사람에서 로봇으로의 반응형 건네주기를 가능하게 하는 비전 기반 시스템을 제시한다. 우리의 접근법은 반응성과 동작의 부드러움을 보장하기 위해 폐루프 모션 플래닝과 실시간의 시간적으로 일관된 파지 생성을 결합한다. 우리 시스템은 다양한 물체 위치와 방향에 강인하며, 강체와 비강체 물체를 모두 잡을 수 있다. 우리는 26개의 다양한 가정용 물체로 이루어진 새로운 벤치마크 세트, 처음 접하는 사용자들(N=6)이 15개 물체의 부분집합을 건네준 사용자 연구, 그리고 물체를 건네는 여러 방식을 검토한 체계적 평가를 통해 우리 접근법의 일반화 가능성, 사용성, 강인성을 보인다. 더 많은 결과와 영상은 https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects 에서 볼 수 있다.

링크

• arXiv 2011.08961: https://arxiv.org/abs/2011.08961
• DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
• PDF: https://arxiv.org/pdf/2011.08961v1
• 프로젝트 페이지: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects