Category-Level Manipulation

• 카테고리: Planning & manipulation › Manipulation
• 태그: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

머그컵이든 서랍이든 한 물체 카테고리의 모든 인스턴스에 걸쳐 일반화되는 조작으로, 이전에 본 적 없고 CAD 모델도 없는 인스턴스까지 포함한다.

정의

카테고리 수준 조작(category-level manipulation)은 로봇에게 특정한 물체 하나가 아니라 한 물체 카테고리의 어떤 구성원에도 통하는 기술을 부여하는 것을 목표로 한다. 손잡이를 잡고 머그컵을 거는 법을 배운 로봇은 3D 모델을 받지 않고도, 한 번도 본 적 없는 다른 모양, 크기, 색의 머그컵을 걸 수 있어야 한다. 이는 모든 물체에 알려진 CAD 모델이 있는 인스턴스 수준 조작과, 임의의 물체에 대한 완전히 일반적인 조작 사이에 위치한다.

핵심 어려움은 한 카테고리 안의 인스턴스들이 모양이 다르므로, 고정된 물체 자세가 모든 인스턴스에서 같은 의미를 갖지 않는다는 것이다. 그래서 카테고리 수준 방법은 카테고리 전체에 걸친, 작업과 관련된 공유 표현을 정의한다. 예로는 6D 자세 및 크기 추정을 위한 NOCS에서처럼 정규화된 표준 좌표계(canonical frame)에서의 카테고리 수준 자세, kPAM에서처럼 머그컵의 테두리 중심과 손잡이 같은 의미 키포인트의 집합, 그리고 Neural Descriptor Fields에서처럼 서로 다른 인스턴스의 대응점을 비슷한 특징으로 사상하는 조밀한 학습 기술자가 있다. 그런 다음 작업을 그 표현으로 기술하고(예를 들어 키포인트 사이의 목표 관계나 표준 좌표계에 대한 그리퍼 자세로), 새 인스턴스에서 그 표현을 추정함으로써 작업을 그 인스턴스로 전이한다.

한 가지 매력은 데이터 효율성이다. 한 인스턴스에서의 단 한 번의 시연을, 원리적으로는 공유 표현을 통해 다른 모든 인스턴스로 전이할 수 있다. 대가는 카테고리를 미리 정의해야 하고, 학습에는 카테고리당 많은 인스턴스가 필요하며(보통 합성 형상 데이터셋에서 가져온다), 기하나 기능이 학습 세트에서 벗어나는 특이한 구성원에서는 성능이 떨어진다는 것이다.

중요한 이유

실제 가정, 물류 창고, 실험실에는 같은 종류의 물체가 여러 변형으로 존재하며, 각각에 CAD 모델이나 새 시연을 제공하는 것은 비현실적이다. 카테고리 수준 방법은 한 번 가르친 기술을 물체 계열 전체에 적용할 수 있게 하며, 이는 고정된 산업 환경 밖에서 일하는 로봇의 전제 조건이다.

주요 응용

• 머그컵, 병, 그릇, 식기를 다루는 가사 작업
• 디자인이 다양한 서랍, 문 및 기타 관절형 물체 열기
• 물류 창고에서 제품 변형의 키팅(kitting)과 픽 앤 플레이스
• 단 한 번의 시연을 새 물체 인스턴스로 전이
• 기능적 부위를 이용한 공구의 작업 지향 파지

실제 사례

한 팀은 로봇이 머그컵을 거치대에 똑바로 놓게 하려 한다. 이들은 무작위 텍스처로 렌더링한 합성 머그컵 모델로 카테고리 수준 자세 및 키포인트 추정기를 학습시키고, 한 번의 시연을 기록한다. 파지 시점의 손잡이 키포인트에 대한 그리퍼 자세와, 거치대 페그에 대한 머그컵 표준 좌표계의 목표 자세이다. 운용 중에는 깊이 카메라가 새 머그컵을 분할하고, 네트워크가 그 표준 자세와 키포인트를 예측하며, 저장된 파지와 배치를 이 인스턴스에 맞게 다시 표현한 뒤, 운동 플래너가 팔 궤적을 생성한다. 손잡이가 특이한 머그컵에서의 실패는 기록되며, 그 모양들은 학습 세트에 추가 형상으로 더해진다.

흔한 오해

• 카테고리 수준 방법도 여전히 물체마다 CAD 모델이 필요하다 — 카테고리 전체에 대해 학습한 표현만으로 처음 보는 인스턴스를 다루는 것이 목표이다
• 넓은 물체 부류라면 무엇이든 카테고리가 된다 — 방법들은 보통 머그컵이나 노트북처럼 공유된 기하와 기능에 의존하며, 공구처럼 느슨하게 정의된 부류에서는 어려움을 겪는다
• 물체의 중심과 방향만 있으면 기술을 전이할 수 있다 — 모양이 다르기 때문에, 손잡이나 테두리 같은 작업 관련 부위에는 보통 자체 키포인트나 대응 관계가 필요하다

알아야 할 사람

• 일반화를 연구하는 조작 연구자
• 물체 자세 추정기를 만드는 인식 엔지니어
• 가정용 및 서비스 로봇 개발자
• 모방 학습 실무자

관련 기술

• 카테고리 수준 6D 자세 추정(Category-Level 6D Pose Estimation)
• NOCS
• kPAM
• Neural Descriptor Fields
• 의미 키포인트(Semantic Keypoints)
• ShapeNet

관련 용어

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

동영상

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated