FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

저자: Ben Eisner, Harry Zhang, David Held · RSS 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

네트워크가 관절형 물체의 각 점이 어떻게 움직일지 예측하고, 로봇은 가장 크게 움직이는 점을 잡아 그 흐름을 따라가며, 실제 학습 데이터 없이 실제 환경에서 64% 성공률에 도달한다.

중요한 이유

이 표현은 물체의 기구학적 트리에 대한 지식을 필요로 하지 않으므로, 시뮬레이션 점군만으로 학습한 단일 모델이 본 적 없는 범주의 물체를 열었고 미세 조정 없이 실제 Sawyer 팔로 이전되었다. 실무자에게는 인식(부품이 어디서 어떻게 움직이는지)을 단순한 해석적 제어 규칙과 분리해 주므로, 정책이 폐루프로 유지되고 들여다보기 쉽다.

문제

가정의 로봇은 문, 서랍, 뚜껑 같은 관절형 물체를 열어야 하는데, 이들의 형상과 기구학은 범주 안에서도, 범주 사이에서도 크게 다르다. 관절 축 같은 관절 파라미터를 추정하는 방법은 대개 물체 구조에 대한 범주별 지식에 의존하므로 새로운 범주에는 적용할 수 없다.

제안 방법

저자들은 3D Articulation Flow를 정의한다. 이는 점군의 모든 점에 대해, 그 점이 속한 부품을 조금 열었을 때 그 점이 움직일 정규화된 방향이다. PartNet-Mobility 시뮬레이션 물체로 지도 학습한 PointNet++ 기반 네트워크 ArtFlowNet이 단일 점군에서 이 흐름을 예측한다. 이어서 FlowBot3D는 석션 그리퍼로 예측 흐름이 가장 큰 점을 잡고(가장자리 및 곡률 필터 적용), 부품이 열릴 때까지 흐름을 반복해서 다시 예측하며 접촉점 근처에서 보이는 가장 큰 흐름 벡터를 따라 그리퍼를 움직인다.

핵심 통찰

직선 관절에서는 어느 점에서든 관절 축을 따라 당기는 것이 최선이고, 회전 관절에서는 축에서 가장 먼 점에서 접선 방향으로 당기는 것이 최선이므로, 관절 흐름이 가장 큰 점이 이상적인 파지점이다.
점별 흐름은 계층 구조가 없고 단위 구 안에 한정되므로 평행 이동과 스케일 변화에 불변이며, 범주별 기구학 모델 없이 학습할 수 있다.
행동 복제와 DAgger 정책은 참 흐름을 입력으로 주어도 성능이 낮았던 반면, 해석적 흐름 추종 정책은 좋은 성능을 보였다.
시뮬레이션에서 렌더링한 점군은 실제 깊이 데이터와의 도메인 차이가 작으며, 저자들은 이것이 직접적인 sim-to-real 전이를 가능하게 했다고 본다. 학습 중 시점 증강은 전이에 도움이 되었지만 시뮬레이션에서는 거의 변화를 주지 않았다.

주요 결과

시뮬레이션(PartNet-Mobility를 사용한 ManiSkill, 성공 = 가동 범위의 90% 초과): FlowBot3D는 학습 범주의 처음 보는 인스턴스에서 평균 성공률 0.77, 처음 보는 10개 범주에서 0.69를 기록했으며, 참 흐름을 사용하는 오라클은 0.92와 0.82에 도달했다.
가장 좋은 행동 복제 기준선(DAgger Oracle + F)은 학습 범주에서 0.33, 처음 보는 범주에서 0.16의 성공률을 보였고, UMPNet 방식 기준선은 0.52와 0.45를 기록했다.
열린 상태까지의 평균 정규화 거리: FlowBot3D는 0.12(학습 범주)와 0.15(처음 보는 범주), UMPNet 방식 기준선은 0.29와 0.36.
실제 환경, Sawyer 팔에서 가정용 물체 14개와 시행 70회: 전체 성공 45/70(64.3%), 접촉 성공 64/70(91.4%), 접촉 후 운동 성공 45/64(70.3%).
같은 접촉점 선택을 사용한 실제 환경 DAgger 기준선은 70회 중 10회(14.3%) 성공했으며, 평균 거리는 0.73으로 FlowBot3D의 0.22보다 컸다.

한계

실제 환경 실패의 대부분은 흐름 예측 오류에서 비롯되었는데, 로봇이 장면의 상당 부분을 가리거나 관절을 검출하지 못한 경우(예: 실제 오븐)가 많았고, 밀착이 형성될 수 없는 점에서의 석션 접촉 실패도 있었다.
저자들은 많은 실패 유형을 없애려면 더 유연한 팔 제어기와 더 강력한 접촉 품질 예측 모듈이 필요하다고 밝히며, 잘못된 예측의 온라인 수정은 향후 과제로 남긴다.
이 방법은 1-DoF 회전 관절 또는 직선 관절과 고정된 베이스를 가진 물체를 다루며, 소켓 관절, 자유 부유 물체, 변형 가능한 물체는 제외된다.
실제 석션 그리퍼는 가장자리, 손잡이, 곡률이 높은 지점에서는 밀착할 수 없으므로, 파지점은 이상적인 최대 흐름 점 대신 수작업으로 조정한 가장자리, 곡률, 거리 휴리스틱으로 선택된다.
실제 테스트 물체는 작업 공간에 들어가야 했고, 석션에 적합한 표면을 가져야 했으며, 깊이 카메라에 너무 어둡거나 반사가 심하지 않아야 했다.

분야에 미친 영향

이 논문은 RSS 2022 최우수 논문상 최종 후보였으며 인용 수는 168회이다. 저자들은 프로젝트 웹사이트를 통해 코드, 데이터, 보충 자료를 공개한다.

초록

우리는 3D 관절형 물체를 인식하고 조작하는 새로운 방법을 탐구하며, 이 방법은 일반화되어 로봇이 처음 보는 부류의 물체도 관절 운동시킬 수 있게 한다. 우리는 다양한 관절형 물체의 부품이 가질 수 있는 운동을 예측하도록 학습하여, 물체를 관절 운동시키기 위한 시스템의 후속 모션 계획을 안내하는 비전 기반 시스템을 제안한다. 물체의 운동을 예측하기 위해, 관절 운동 시 점군 내 점들의 점별 운동 방향을 나타내는 조밀한 벡터장을 출력하도록 신경망을 학습시킨다. 그런 다음 이 벡터장에 기반한 해석적 모션 플래너를 배치하여 최대한의 관절 운동을 이끌어내는 정책을 얻는다. 우리는 비전 시스템을 전적으로 시뮬레이션에서 학습시키며, 미세 조정 없이 Sawyer 로봇에 정책을 배치하여 시뮬레이션과 실제 환경 모두에서 우리 시스템이 처음 보는 물체 인스턴스와 새로운 범주로 일반화하는 능력을 보여준다. 결과는 우리 시스템이 시뮬레이션과 실제 실험 모두에서 최고 수준의 성능을 달성함을 보여준다.

링크

arXiv 2205.04382: https://arxiv.org/abs/2205.04382
DOI 10.48550/arXiv.2205.04382: https://doi.org/10.48550/arXiv.2205.04382
PDF: https://arxiv.org/pdf/2205.04382v1
코드: https://github.com/r-pad/flowbot3d
프로젝트 페이지: https://sites.google.com/view/articulated-flowbot-3d/home