RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

저자: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RoPotter는 점토의 2D 단면과 가려진 점의 메시 기반 복원을 사용하여, 로봇이 각각 40개의 시연으로 물레 위 점토를 두 종류의 그릇 모양으로 빚도록 가르친다.

중요한 이유

자유도가 없는 단순한 강체 손가락을 사용하는 연속적 체적형 변형 물체 조작을 위한 긴 호라이즌 과제를 정의하며, 값싼 과제 사전 지식(대칭성과 국소 강성)이 학습된 동역학 모델을 대신할 수 있음을 보인다. 만들어진 그릇을 시연된 그릇과 Chamfer 거리 및 CLIP 유사도로 비교하는 평가 방식은 명확한 성공 레이블이 없는 과제에 쓸 수 있는 접근법이다.

문제

점토 같은 체적형 변형 가능 물체는 모델링하기 어렵다. 학습된 동역학 모델은 많은 샘플이 필요하고 접촉에서 큰 sim-to-real 격차에 직면하므로, 기존의 점토 연구는 행동 사이에 물체를 명확히 볼 수 있는 이산적이고 과제 특화된 행동을 사용했다. 물레 위에서는 점토가 접촉하에 연속적으로 변형되고 로봇 손가락에 부분적으로 가려지므로, 어느 접근법도 맞지 않는다.

제안 방법

RoPotter는 도예 과제의 구조적 사전 지식을 사용한다. 물레가 점토를 방사 대칭으로 만들므로, RoPotter-2D는 질량 중심을 지나는 평면에서 5 mm 이내의 점들로 이루어진 단면으로 점토를 표현한다. RoPotter-Mesh는 초기 단면에 메시를 맞추고, 정점을 손가락 밖으로 밀어내고, 보이는 정점을 관측된 점으로 옮긴 뒤 As-Rigid-As-Possible(ARAP) 변형을 적용하여 가려진 점토를 추정한다. 3D Diffusion Policy(DP3)를 기반으로 하고 2D 인코더 변형을 갖춘 확산 정책을 원격 조작 시연에서 얻은 이 상태들로 학습한다.

핵심 통찰

• 물레 위의 방사 대칭 덕분에 3D 점토 상태를 직경, 높이, 벽 두께를 여전히 담고 있는 2D 단면으로 축소할 수 있다.
• 손가락 접촉을 처리하고 ARAP로 국소 강성을 강제하면 손가락 뒤에 가려진 점토가 복원된다. ARAP 단계를 추가하자 Chamfer 거리가 66.3% 줄었다.
• 열린 직경이 점토 질량에 따라 달라지므로 정책은 벽 올리기 단계를 관측된 상태에 맞게 조정해야 한다. DP3 기준선은 적응이 가장 적어, 점토가 많으면 그릇을 너무 높게, 적으면 너무 낮게 만들었다.
• 시연된 그릇 자체가 약 2.0 mm만큼 서로 달라, 어떤 정책이든 Chamfer 거리에서 이들과 얼마나 가깝게 맞출 수 있는지에 한계를 준다.

주요 결과

• 점토 250 g의 넓은 그릇 과제에서 RoPotter-Mesh는 DP3 기준선보다 최종 형상 오차가 44.4% 낮았다(Chamfer 거리 2.75 mm 대 4.95 mm).
• 메시 복원 절제 실험(단면 / 전체 포인트 클라우드에 대한 Chamfer 거리): 전체 방법 1.50 / 2.58 mm, ARAP 없이 4.45 / 7.74 mm, 접촉 처리 없이 15.41 / 17.01 mm, 관측 기준 0.0 / 2.46 mm.
• 점토 250 g 또는 350 g의 모든 과제에서, 시연된 그릇에 대한 Chamfer 거리 분포는 제안된 두 정책 모두 기준선보다 낮았다.
• DP3는 350 g의 높은 그릇에서만 가장 좋았으며(1.96 mm), 여기서 RoPotter-2D도 2.0 mm 미만(1.99 mm)을 유지했다. DP3는 300 g의 높은 그릇 시행 하나에서 실패했다.
• 시연된 그릇에 대한 CLIP 유사도는 방법 전반에서 0.940에서 0.974 사이였으며 기하학적 지표와 일치했다.

한계

• 저자들은 RoPotter-Mesh가 잘 초기화된 메시와 일관되고 정확하게 관측된 로봇 행동에 의존한다고 밝히며, 이 가정은 통제되고 구조화된 그들의 구성에서는 성립하지만 일반적으로는 성립하지 않는다.
• 정책은 목표 조건부가 아니다. 각 그릇 형상은 고유한 시연으로 학습되며, 유용한 목표 표현을 정의하는 일은 향후 과제로 남는다.
• 과제에 명확한 성공 기준이 없으며, 저자들은 Chamfer 거리가 이상치 점에 의해 편향되고 고주파 특징을 평균화해 버린다고 언급한다.
• 방법은 방사 대칭과 준정적 점토를 가정하며 동적 효과를 무시한다.
• RoPotter-Mesh 정책 결과는 넓은 그릇에 대해서만 보고되며, 높은 그릇 비교는 DP3와 RoPotter-2D를 다룬다.

분야에 미친 영향

Humanoids 2024 Best Oral Presentation Award 최종 후보였으며 11회 인용되었다. 저자들은 보충 자료, 실험 데이터, 시각화를 robot-pottery.github.io 에서 제공한다.

초록

인간은 매우 다양한 변형 가능 물체를 연속적으로 조작하여 복잡한 형태로 만들 수 있다. 이는 물체의 재료 특성과 역학에 대한 직관적 이해 덕분에 가능하며, 이를 통해 시각적 인지가 가려진 상황에서도 물체 상태를 추론할 수 있다. 이러한 능력 덕분에 우리는 반죽으로 요리하는 일부터 도자기 만들기로 자신을 표현하는 일까지 다양한 과제를 수행할 수 있다. 그러나 현재 방법들은 체적형 변형 가능 물체를 효과적으로 모델링하고 이들이 흔히 보이는 복잡한 거동을 추론하는 데 어려움을 겪기 때문에, 비슷한 과제를 강인하게 수행하는 로봇 시스템을 개발하는 일은 여전히 어렵다. 체적형 물체를 변형할 수 있는 로봇 시스템과 알고리즘을 연구하기 위해, 우리는 물레 위에서 점토를 연속적으로 변형하는 새로운 로보틱스 과제를 소개한다. 우리는 RoPotter라는 인식 및 도예 기술 학습 파이프라인을 제안하며, 도자기 만들기 과제에 특화된 구조적 사전 지식을 활용해 도예 기술 학습 과정을 단순화할 수 있음을 보인다. 즉, 점토의 단면을 평면에 투영하여 점토의 상태를 표현함으로써 차원을 줄일 수 있다. 또한 점토를 연속적으로 변형할 수 있는 로봇 에이전트를 향해, 가려진 점토 상태를 복원하는 메시 기반 방법을 보인다. 실험 결과, 점토의 변형 거동에 기반한 구조적 사전 지식과 축소된 표현을 사용함으로써 RoPotter는 최신 기준선보다 최종 형상 오차가 44.4% 낮게 긴 호라이즌의 도예 과제를 수행할 수 있다.

링크

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• 프로젝트 페이지: https://robot-pottery.github.io/