Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

저자: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

로봇이 이전에 다룬 물체를 인식하고 그 부분 TSDF 모델을 재사용한다. 성공률이 85%에서 98%로 오르고 손 바꿔 쥐기와 재스캔이 덜 필요해진다.

중요한 이유

창고나 주방처럼 같은 물건을 반복해서 보는 로봇은 처음부터 시작하는 대신 이전의 만남을 이용해 형상 불확실성을 줄일 수 있다. 논문은 이것이 제약된 영역에 물체를 놓는 데 필요한 추가 조작 단계의 수를 줄인다는 것을 보인다.

문제

알려진 3D 모델이 없는 물체를 위한 픽앤플레이스 시스템은 같은 물체를 이전에 다룬 적이 있어도 보통 모든 물체를 새것으로 취급한다. 좁은 공간에 놓으려면 보이지 않는 부분에 대해 보수적인 부피를 가정해야 하며, 이는 추가적인 손 바꿔 쥐기와 능동 인식 동작을 강요하고 때로는 안전한 파지를 전혀 남기지 않는다.

제안 방법

조작한 각 물체는 1 mm 절단 부호 거리 함수(TSDF) 볼륨과 서로 다른 시점에서 얻은 ResNet50 색상 특징의 클러스터 64개로 저장된다. 새 물체는 코사인 거리로 데이터셋과 대응되고, 이어서 GPU 입자 필터가 저장된 부분 모델을 정합하며 관측된 빈 공간에 있거나 테이블 아래에 있는 자세를 기각한다. 같은 입자 필터가 손에 쥔 물체를 추적하는 동안 새로운 깊이 시점이 그 모델에 융합된다.

핵심 통찰

점유 격자 모델은 작업 간에 재사용할 만큼 정밀하지 않았고, 1 mm TSDF 볼륨은 그만큼 정밀했다
모델을 관측된 빈 공간이나 지지 평면 아래에 놓는 자세 가설을 제거하자, 한 번의 잘못된 인식이 작업 실패로 이어지기 전에 걸러졌다
물체를 하나의 평균 특징 대신 여러 시점의 특징 클러스터로 표현하면, 선택한 임계값에서 재현율이 0.211에서 0.886으로 오른다
거짓 음성은 물체를 새것으로 취급하므로 효율만 떨어뜨리지만, 거짓 양성은 작업을 실패시킬 수 있으므로 임계값은 높은 정밀도에 맞춰 설정된다
관심 영역만 렌더링하면 이전의 전체 이미지 방식에 비해 입자 필터 반복 시간이 절반으로 줄어든다

주요 결과

작업 성공 54/55(98%), 모든 물체를 새것으로 취급하는 기준선은 47/55(85%)
손 바꿔 쥐기 행동이 있었던 작업 20/55(36%), 기준선은 37/55(67%)
능동 인식 행동이 있었던 작업 8/55(14%), 기준선은 35/55(63%)
저장된 모델을 정합하자 보수적인 형상 불확실성 부피가 평균 32%, 최대 75% 줄었다
49/55 실험에서 물체를 올바르게 인식했으며, 거짓 음성 5건과 자세 추정이 기각한 거짓 양성 1건이 있었다
재구성 모델은 네 물체 모두에서 실제값과의 챔퍼 거리가 5 mm 이내였다. 자세 추정 반복은 약 30 ms가 걸리며, 입자 625개를 쓰는 이전 방법은 약 60 ms가 걸린다

한계

저자들은 TSDF 표현이 얇은 구조에 적합하지 않아 그릇 같은 물체는 재구성하고 추적하기 어렵다고 밝힌다
어수선한 장면은 향후 과제로 남겨 두었다. 각 작업에는 분리된 물체 하나만 포함된다
물체가 심하게 가려지면 재구성 모델에 추적 오차로 인한 잡음 섞인 내부 점이 포함된다
시스템당 55개 작업에서 네 개의 물체로 평가되었으며, 물체의 보이는 부분을 이전에 본 적이 없을 때 거짓 음성이 발생한다

분야에 미친 영향

ICRA 2022 Outstanding Manipulation Paper award의 최종 후보에 올랐으며 인용 수는 17회이다. 저자들은 입자 필터 자세 추정기를 6DoF 자세 주석 도구로 GitHub에 오픈소스로 공개했다고 밝힌다.

초록

본 연구는 기하 형상 사전 정보 없이 물체를 집고 제약된 위치에 놓기 위한 로봇 파이프라인을 제안한다. 모든 물체를 새로운 것으로 가정했던 유사 작업에 대한 최근 연구들과 비교하여, 제안된 시스템은 이전에 조작한 물체를 인식하고 온라인 모델 재구성과 재사용을 수행한다. 평생에 걸친 조작 과정에서 시스템은 상호작용한 물체의 특징을 계속 학습하고 재구성된 모델을 갱신한다. 이전에 조작한 물체의 인스턴스가 다시 나타날 때마다, 시스템은 먼저 그것을 인식한 다음 현재 관측을 바탕으로 이전에 재구성한 모델을 정합하는 것을 목표로 한다. 이 단계는 물체 형상의 불확실성을 크게 줄여, 시스템이 현재 관측할 수 없는 물체 부분에 대해서도 추론할 수 있게 한다. 이는 또한 조작 중 목표 물체에 대한 능동 인식의 필요성을 줄여 조작 효율을 높인다. 재사용 가능한 재구성 모델을 얻기 위해 제안된 파이프라인은 i) 물체 표현을 위한 TSDF와 ii) 부분 물체 모델의 자세 추정 및 추적을 위한 표준 입자 필터 알고리즘의 변형을 채택한다. 또한 조작한 물체의 데이터셋을 구축하고 유지하는 효과적인 방법을 제시한다. 일련의 실제 조작 실험을 수행하여, 매번 물체를 새로운 것으로 취급하는 대신 즉석에서 생성된, 이전에 조작한 물체의 재구성 모델을 재사용함으로써 향후 조작 작업이 어떻게 더 효과적이고 효율적이 되는지를 보인다.

링크

arXiv 2109.13910: https://arxiv.org/abs/2109.13910
DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
PDF: https://arxiv.org/pdf/2109.13910v1