RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

저자: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RoboCook은 공구당 20분의 실제 데이터로 학습한 GNN으로 반죽-공구 상호작용을 모델링하고, PointNet++ 분류기로 공구를 고르며, 교체 가능한 15개의 공구로 만두를 만든다.

중요한 이유

이 시스템은 공구 교환 장치를 갖춘 범용 팔이 9단계의 만두 만들기 순서를 완수하고, 작업 도중 사람이 반죽을 변형하거나 더하거나 바꿔 놓아도 복구함을 보여준다. 정책은 행동당 한 번의 순전파만 필요하므로, 같은 학습 모델을 쓰는 최적화 기반 계획기가 몇 분 걸리는 계획을 몇 초 만에 끝낸다.

문제

만두 만들기 같은 장기 연성체 작업에는 어떤 공구를 쓸지에 대한 이산적 선택과 그것을 어떻게 움직일지에 대한 연속적 선택이 필요하며, 탄소성 반죽은 모델링하기 어려운 방식으로 변형된다. 이전의 학습된 동역학 방법은 단일 공구로 단기 작업을 다루었고, 탄소성 물체용 시뮬레이터는 눈에 띄는 시뮬레이션-현실 격차를 보인다.

제안 방법

네 대의 RGB-D 카메라가 병합된 점군을 제공하고, 이로부터 반죽을 수밀(watertight) 메시로 재구성해 300개의 표면 입자로 다시 샘플링한 뒤 공구 메시 위의 입자와 연결한다. 공구당 약 20분의 무작위 탐사 데이터로 학습한 GNN이 반죽의 변형을 예측하고, PointNet++ 분류기가 다음 하위 목표에 가장 적합할 공구 세 개를 제안하며, GNN이 생성한 합성 데이터로 학습한 PointNet++ 정책이 집기, 누르기, 밀기에 대한 행동 파라미터를 출력한다. 나머지 공구는 수작업으로 코딩한 계획기를 사용한다. 각 행동 후 시각 피드백으로 루프가 닫힌다.

핵심 통찰

• GNN이 두 스텝 앞만 예측하도록 학습시켜도 추론 시 15스텝 예측이 정확하기에 충분했다.
• 합성 GNN 롤아웃으로 오프라인 학습한 정책은 행동 공간 전체를 커버하며, 같은 GNN과 공구 분류기를 사용한 온라인 계획기(경사 하강법, CEM, RL)를 능가했다.
• 6-DoF 엔드 이펙터 공간에서 중복 자유도를 제거해 얻은, 공구별 2~4개 파라미터의 행동 공간 덕분에 계획이 다루기 쉬운 수준으로 유지된다.
• 밀가루, 물, 소금 반죽으로만 학습한 동역학 모델이 재학습 없이 Play-Doh, 자연 건조 점토, 모형용 폼에서 글자 K를 만들었다.
• PointNet 기반 공구 분류기가 ResNet 기반 분류기보다 더 잘 일반화했으며, 저자들은 이를 깊이를 인코딩하는 능력 덕분으로 본다.

주요 결과

• 글자 만들기(R, O, B, C, K): 피험자 100명이 RoboCook의 글자를 정확도 0.90 ± 0.11로 알아보았으며, RoboCraft는 0.54, CEM+GNN은 0.52, CEM+MPM은 0.48, RL+GNN은 0.17이었다.
• 점군 지표: Chamfer 거리 0.0062 ± 0.0007, Earth Mover's 거리 0.0042 ± 0.0006으로 다섯 방법 중 가장 낮았다.
• 계획 시간 9.3 ± 1.5 s, RoboCraft 613.7 s, CEM+GNN 756.0 s, CEM+MPM 1486.7 s, RL+GNN 1867.9 s; 만두 만들기 전체 파이프라인의 계획은 약 10 s가 걸린다.
• 공구 분류기는 학습 데이터의 테스트 분할에서 인스턴스 정확도 0.996에 도달했다.
• 같은 공구를 사용한 피험자 5명은 스스로 공구를 고를 때 RoboCook보다 눈에 띄게 못했고, 공구 순서와 하위 목표가 주어졌을 때는 비슷하거나 더 못했다.

한계

• 저자들이 밝힌 바: 반죽이 가끔 공구에 달라붙으며, 자동 오류 수정 시스템이 필요할 것이다.
• 저자들이 밝힌 바: 시스템은 각 공구의 행동 공간에 대해 사람의 사전 지식에 의존한다.
• 저자들이 밝힌 바: 하위 목표는 사람이 정의한다; 이를 없애려면 더 높은 수준의 시간적 추상화와 작업 수준 계획이 필요할 것이다.
• 저자들이 밝힌 바: 케이블과 천에는 추가적인 위상 추정이 필요할 것이다.
• 학습된 동역학과 정책은 그리퍼, 롤러, 프레스, 펀치만 다룬다; 칼, 커터, 푸셔, 주걱은 수작업으로 코딩한 계획기를 사용하며, 후크 동작은 미리 코딩되어 있다.

분야에 미친 영향

CoRL 2023 Best Systems Paper Award 수상작; 인용 수 137회(제시된 수치 그대로). 공식 프로젝트 페이지는 RoboCook 코드 저장소와 데이터 폴더를 링크한다.

초록

인간은 유연한 도구 사용을 통해 복잡한 장기 연성체 조작 작업에 뛰어나다: 빵을 구울 때는 반죽을 자르는 칼과 반죽을 평평하게 펴는 밀대가 필요하다. 흔히 인간 인지의 특징으로 여겨지는 도구 사용은, 도구-물체 상호작용을 이해하는 데 따르는 어려움 때문에 자율 로봇에서는 여전히 제한적이다. 여기서 우리는 다양한 도구로 탄소성 물체를 인지하고, 모델링하고, 조작하는 지능형 로봇 시스템 RoboCook을 개발한다. RoboCook은 점군 장면 표현을 사용하고, 그래프 신경망(GNN)으로 도구-물체 상호작용을 모델링하며, 도구 분류와 자기 지도 정책 학습을 결합해 조작 계획을 세운다. 우리는 공구당 단 20분의 실제 상호작용 데이터만으로 범용 로봇 팔이 만두나 알파벳 글자 쿠키 만들기 같은 복잡한 장기 연성 물체 조작 작업을 학습할 수 있음을 보인다. 광범위한 평가 결과 RoboCook은 최신 접근법을 크게 능가하고, 심한 외부 교란에 대해 강건하며, 다른 재료에 대한 적응성을 보여준다.

링크

• arXiv 2306.14447: https://arxiv.org/abs/2306.14447
• DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
• PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
• 코드: https://github.com/hshi74/robocook
• 프로젝트 페이지: https://hshi74.github.io/robocook