You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

저자: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

시뮬레이션에서만 학습한 정규 형상 공간이 시연 영상 하나를 새 물체에 매핑한다. 추적 기반 폐루프 복제는 배터리 세우기에서 100%, 0.5 mm 기어 삽입에서 82.9%에 도달한다.

중요한 이유

새로운 조립 스킬을 영상 하나와 학습 인스턴스의 CAD 모델만으로, 실제 학습 데이터나 키포인트 주석 없이 가르칠 수 있으며, 이 스킬은 소매점에서 구입한 새 인스턴스로도 이어진다. 추적 유무를 비교하면 공차가 빡빡한 삽입에서 폐루프 물체 자세 피드백이 얼마나 중요한지 알 수 있다.

문제

물체 인스턴스 간에 스킬을 전이하는 카테고리 수준 조작 방법은 보통 수동으로 지정한 의미 키포인트와 비용이 많이 드는 실제 데이터 수집이 필요하며, 잡은 물체를 그리퍼에 고정된 것으로 취급하고 개루프로 실행한다. 이는 스프링에 맞서 배터리를 끼우는 것처럼 중간 행동 순서가 중요하고 물체가 손 안에서 움직이는, 장기 호라이즌의 접촉이 많은 작업에서 무너진다.

제안 방법

합성 Blender 데이터로만 학습한 NUNOCS Net(PointNet과 유사한 네트워크)은 부분 포인트 클라우드를 3D 비균일 스케일을 가진 카테고리 수준 정규 공간으로 매핑하여, 시연된 물체와 새 물체 사이의 조밀한 대응을 제공한다. 하나의 RGBD 시연 영상은 모델 프리 BundleTrack 6 DoF 추적기로 수용부에 대한 물체 자세 궤적으로 파싱되고, 새 물체에 재투영된 뒤, 수용부에서 5 cm 떨어진 키포즈까지의 RRT* 충돌 없는 이동과 이어지는 카테고리 수준 행동 복제(CatBC)로 실행된다. CatBC는 야코비안 기반 관절 업데이트와 10 Hz 추적기 피드백으로 목표 궤적을 따르며, 국소 어텐션 메커니즘이 고른 좌표계에 고정된다.

핵심 통찰

• 시연을 수용부에 대한 물체의 자세 궤적으로 표현하면 스킬이 시연자(사람 손 또는 원격 조작 로봇) 및 장면 배치와 분리된다.
• 손에 쥔 물체의 폐루프 추적은 접촉이 많은 작업에서 가장 중요하다. 추적을 켜자 배터리 조립 성공률이 37.78%에서 82.22%로, 가장 느슨한 공차의 기어 삽입에서 42.9%에서 100%로 올랐다.
• 시뮬레이션에서 학습한 정규 공간으로부터의 조밀한 3D 대응은 실제 데이터로 학습한 2D 조밀 기술자(DON)나 의미 키포인트(KPAM, KPAM 2.0)보다 정밀했다. 추적 없이도 모든 기준선을 이겼다.
• 실행을 충돌 없는 운반과 라스트 인치 복제로 나누면, 로봇은 시연에 없던 장애물을 처리하고 영상 중 성공을 결정하는 부분만 재현할 수 있다.
• 다시 시연함으로써 다른 전략을 가르칠 수 있다. 고정 후 회전(anchor-and-pivot) 시연은 단순한 위에서 아래로의 삽입보다 기어 삽입 성공률이 높았다.

주요 결과

• 배터리 세우기(테스트 배터리 9개, 각 5회 시도): 전체 방법 100%, 추적 없이 80.0%, 기준선은 최대 60.0%(시연 기반 복제를 쓴 KPAM 2.0).
• 스프링에 맞선 배터리 조립: 전체 방법 82.22%, 추적 없이 37.78%, 기준선은 최대 24.44%이며, 복제 없는 KPAM, KPAM 2.0, DON은 0%.
• 기어 삽입(테스트 기어 7개): 5 mm 공차(기어 하나는 3 mm)에서 100%, 0.5 mm에서 82.9%, 0.1 mm에서 28.6%. 가장 좋은 기준선은 5 mm에서 31.4%였고, 여섯 기준선 모두 0.5 mm에서 0%였으며, 추적 없는 변형은 0.5 mm에서 5.7%였다.
• 이 방법과 기준선 7개에 걸쳐 실제 시도 1,560회를 수행했다. 추적기는 카메라 속도인 10 Hz로 실행된다.
• NUNOCS Net은 카테고리당 합성 데이터 포인트 100,000개를 사용했고, KPAM 및 KPAM 2.0 기준선은 카테고리당 키포인트 주석이 달린 실제 데이터 포인트 90,000개에서 98,340개로 학습되었다.

한계

• 비전이 유일한 감지 방식이다. 저자들은 힘 또는 촉각 센싱이 고정밀 작업의 정확도를 높일 것으로 예상한다.
• 강체만 다룬다. 관절형 물체나 케이블 같은 변형 가능한 물체에는 다른 카테고리 수준 표현이 필요하다.
• 보고된 실패 유형: 배터리 조립에서는 스프링 힘이 배터리를 그리퍼 밖으로 밀어낼 수 있고, 고정 후 회전 기어 삽입에서는 기어가 손 안에서 회전하여 충돌 없는 역기구학 해가 존재하지 않게 될 수 있다.
• 기어-축 공차 0.1 mm에서는 성공률이 28.6%로 떨어진다.
• 이 방법은 작업을 방해하지 않는 파지를 가정하며(파지 계획은 범위 밖), 수용부는 기하 프리미티브로 구성되고 RANSAC으로 위치를 찾는다.

분야에 미친 영향

RSS 2022 Best Paper Award 최종 후보이며, 145회 인용되었다. 논문은 자체 코드나 데이터의 공개를 밝히지 않는다.

초록

최근 물체 인스턴스 간에 일반화되는 카테고리 수준 조작에서 유망한 결과가 나왔다. 그러나 이는 종종 비용이 많이 드는 실제 데이터 수집과 각 물체 카테고리 및 작업에 대한 의미 키포인트의 수동 지정을 필요로 한다. 또한 거친 키포인트 예측과 중간 행동 순서의 무시는 pick-and-place를 넘어서는 복잡한 조작 작업에의 적용을 가로막는다. 본 연구는 물체 중심의 카테고리 수준 표현과 모델 프리 6 DoF 동작 추적을 활용하는 새로운 카테고리 수준 조작 프레임워크를 제안한다. 정규 물체 표현은 오직 시뮬레이션에서만 학습된 뒤, 단일 시연 영상으로부터 카테고리 수준의 작업 궤적을 파싱하는 데 사용된다. 시연은 정규 표현을 통해 새로운 물체에 맞춘 목표 궤적으로 재투영된다. 실행 중에는 조작 호라이즌이 장거리 충돌 없는 이동과 라스트 인치(last-inch) 조작으로 분해된다. 후자에서는 카테고리 수준 행동 복제(CatBC) 방법이 동작 추적을 활용해 폐루프 제어를 수행한다. CatBC는 시연에서 투영되고 동적으로 선택된 카테고리 수준 좌표계에 고정된 목표 궤적을 따른다. 이 좌표계는 국소 어텐션 메커니즘에 의해 조작 호라이즌을 따라 자동으로 선택된다. 이 프레임워크는 복잡한 수동 프로그래밍 없이 단 하나의 시연만 제공함으로써 서로 다른 조작 전략을 가르칠 수 있게 한다. 광범위한 실험은 복잡한 장기 호라이즌 정책 학습을 수반하는 고정밀 조립 분야의 까다로운 산업 작업들에서 그 효과를 입증한다. 이 과정은 동역학으로 인한 불확실성에 대한 강인성과 함께 물체 인스턴스 및 장면 구성 간의 일반화를 보인다.

링크

• arXiv 2201.12716: https://arxiv.org/abs/2201.12716
• DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
• PDF: https://arxiv.org/pdf/2201.12716v1