kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

저자: Wei Gao, Russ Tedrake · ICRA 2021

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

방향을 가진 3D 키포인트가 폐루프 제어기의 상태이자 행동 역할을 하므로, 하나의 정책이 형상 변이에 걸쳐 0.2 mm 펙-홀 삽입, LEGO, USB, 닦기 작업을 처리한다.

중요한 이유

상태와 행동이 물체에서 작업과 관련된 부분만을 가리키므로, 같은 제어기가 인스턴스별 조정 없이 물체 인스턴스, 파지 자세, 초기 배치에 걸쳐 작동한다. 프레임워크는 인터페이스만 고정하므로 다른 인식 모듈과 모델 기반 또는 학습된 에이전트를 끼워 넣을 수 있다.

문제

폐루프 조작 파이프라인은 보통 실시간 6-DOF 자세 추정기 위에 피드백을 구축하지만, 고정된 기하 템플릿에 정의된 자세는 범주 내의 큰 형상 변이를 포착하지 못한다. 원래의 kPAM 키포인트 방법은 범주 수준 픽앤플레이스를 처리하지만 물체에 임의의 강체 변환을 적용할 수 있다고 가정하며, 이는 펙-홀 삽입 같은 접촉이 많은 작업에서는 성립하지 않는다.

제안 방법

키포인트에 국소 방향 좌표계를 부여하고, 로봇 행동을 방향 키포인트의 원하는 선속도/각속도 또는 힘/토크로 표현하며, 이를 키포인트 자코비안을 통해 관절 명령으로 매핑한다. 힘/토크 측정값은 가상 센서로서 키포인트로 변환되고, 입력과 출력은 새로운 배치에 재적용할 수 있도록 공칭 좌표계에서 다시 표현되며, 방향 키포인트로 단순화된 kPAM 픽앤플레이스 단계가 물체를 시작 배치로 가져온다.

핵심 통찰

국소적이고 작업 특화된 방향 키포인트는 로봇이 쥐는 손잡이 같은 무관한 기하를 무시하며, 바로 이것이 범주 수준 일반화를 가능하게 한다.
물체가 강체이고 단단히 쥐어져 있다면 로봇의 일부로 취급할 수 있으므로, 표준 관절 공간 제어기가 키포인트 속도 또는 힘 명령을 관절로 매핑한다.
손목 힘/토크 측정값을 키포인트 좌표계로 변환하면 물체 기하와 파지 자세에 무관해진다.
80 cm 거리에서 약 5 mm인 시각 키포인트 오차는 0.2 mm 간극을 훨씬 넘으므로, 키포인트와 힘/토크를 이용한 폐루프 보정이 필요하다. 개루프 재생은 실패한다.
kPAM 키포인트에 방향을 추가하면 많은 경우 픽앤플레이스 목표를 위한 비용/제약 최적화를 풀 필요가 없어진다.

주요 결과

제안 방법 대 개루프 기준선의 실패율: 화이트보드 닦기 1/25(4%) 대 16/20(80%), 간극 0.2 mm의 3D 프린팅 펙-홀 12/45(26%) 대 19/20(95%).
LEGO 블록 2/25(8%) 대 7/20(35%), USB 포트 9/20(45%) 대 20/20(100%).
6-DOF 자세 기준선(키포인트 초기화에 템플릿에 대한 ICP를 더한 것)은 닦기에서 10/25(40%), 프린팅 펙-홀에서 25/45(55%), LEGO에서 9/25(36%), USB에서 17/20(85%) 실패했으며, 일부 시행은 안전 정지가 필요했다.
닦기는 공칭 10 N의 수직력을 조절했다. 지우개의 앞쪽 키포인트가 화이트보드 가장자리에서 2 cm 넘게 벗어나거나 힘이 5 N 아래로 떨어지면 시행을 실패로 간주했다.
USB의 경우 짧은 변 방향으로 약 3 mm의 오차가 실패를 일으킨다. 먼저 거칠게, 그다음 가까이에서 보는 2단계 손목 카메라 방식으로 인식 오차를 2 mm로 줄였다.
성공한 시행을 모방하여 학습한 에이전트는 세 가지 펙-홀 범주 모두에서 작동했지만, 거의 그대로 재현한 수작업 제어기보다 성능이 뛰어나지는 않았다.

한계

희소한 키포인트는 펙이 구멍보다 크다는 것을 인식하거나 충돌 없는 궤적 계획처럼 조밀한 기하가 필요한 작업을 처리할 수 없다(저자들이 밝힘).
물체는 그리퍼에 대해 정적이라고 가정하며, 이는 가하는 힘을 정지 마찰 원뿔 안에서 균형을 이루는 힘으로 제한한다. 손목에 장착된 카메라는 그리퍼와 물체 사이의 미끄러짐을 감지할 수 없다(저자들이 밝힘).
실패는 파지 실패와 피드백이 보정하기에는 너무 큰 키포인트 오차에서 비롯되었으며, USB 드라이브는 파지 가능성 문제 때문에 그리퍼에 미리 고정해야 했다(저자들이 밝힘).
작업 특화 키포인트는 작업마다 모델 설계자가 선택해야 한다.
로봇 모델과 상세한 설정은 이 arXiv v1 사본에 포함되지 않은 부록(Appendix)을 참조하도록 되어 있다.

분야에 미친 영향

IEEE ICRA 2021 Best Paper Award in Robot Manipulation의 최종 후보에 올랐으며 인용 수는 91회이다. 논문은 영상 시연과 소스 코드를 이용할 수 있다고 밝히며, 링크로 https://sites.google.com/view/kpam2/ 를 제시한다.

초록

본 논문에서는 정밀하고 접촉이 많은 작업을 위한 일반화 가능한 인식-행동 로봇 조작을 탐구한다. 특히, 처음 보는 물체 인스턴스일 수 있고 형상, 크기, 외관에서 범주 내 변이가 크더라도 하나의 물체 범주를 자동으로 다루는 폐루프 로봇 조작 프레임워크를 제안한다. 기존 접근법은 일반적으로 실시간 6-DOF 자세 추정기 위에 피드백 루프를 구축한다. 그러나 고정된 기하 템플릿으로부터의 매개변수화된 변환으로 물체를 표현하면 범주 내의 큰 형상 변이를 포착하지 못한다. 따라서 우리는 범주 수준 픽앤플레이스를 위해 kPAM [13]에서 제안된 키포인트 기반 물체 표현을 채택하고, 이를 접촉이 많은 작업을 위한 폐루프 조작 정책으로 확장한다. 먼저 키포인트에 국소 방향 정보를 추가한다. 방향을 가진 키포인트를 사용하여, 이 키포인트들의 선속도/각속도 또는 힘/토크를 조절하는 관점에서 새로운 물체 중심 행동 표현을 제안한다. 이 정식화는 놀라울 만큼 범용적이다. 우리는 이것이 형상 변이가 크고 간극이 작은 펙과 구멍에 대한 펙-홀 삽입처럼, 형상, 크기, 외관이 다른 물체 범주에 대해 정밀함과 손재주가 필요한 접촉이 많은 조작 작업을 수행할 수 있음을 보인다. 제안한 물체 및 행동 표현 덕분에 우리 프레임워크는 로봇의 파지 자세와 초기 물체 배치에도 무관하여, 통합과 배포에 유연하다. 영상 시연과 소스 코드는 이 링크에서 볼 수 있다.

링크

arXiv 2102.06279: https://arxiv.org/abs/2102.06279
DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
PDF: https://arxiv.org/pdf/2102.06279v1
프로젝트 페이지: https://sites.google.com/view/kpam2/