Task-Oriented Grasping

• 다른 이름: TOG, task-aware grasping
• 카테고리: Planning & manipulation › Manipulation
• 태그: grasping, manipulation, affordances, tool-use, semantic-grasping

파지 안정성만이 아니라 로봇이 다음에 물체로 무엇을 할지에 따라 파지를 선택하는 것으로, 예를 들어 자르기 위해 칼을 손잡이로 잡는 것이다.

정의

대부분의 파지 계획기는 한 가지 질문을 던진다. 이 파지가 물체를 붙잡고 있을 것인가? 작업 지향 파지(task-oriented grasping)는 두 번째 질문을 더한다. 이 파지로 로봇이 의도한 작업을 수행할 수 있는가? 가장자리를 잡은 머그컵은 안정적일 수 있지만 따르기를 막고, 축을 잡은 드라이버는 돌릴 수 없다. 따라서 작업 지향 파지 선택은 파지 안정성(grasp stability)과 작업 제약(task constraints)을 결합한다. 물체의 어느 부분을 만져도 되는지, 어떤 접근 방향이 기능적 부분을 비워 두는지, 그리고 작업을 수행하는 동안 파지가 어떤 힘과 토크를 버텨야 하는지다.

접근법은 시간에 따라 바뀌어 왔다. 초기의 해석적 연구는 작업이 물체에 가할 렌치의 집합으로 작업을 기술하고, 그 집합을 버틸 수 있는 파지를 선호했는데, 다지 손을 위한 Li와 Sastry의 작업 지향 파지 품질 척도가 그 예다. 이후 연구는 물체 부분과 그 어포던스를 인코딩하여 손잡이, 날, 주둥이 같은 영역에 레이블을 붙였고, TaskGrasp처럼 작업별 파지가 주석된 물체 데이터셋으로부터 어떤 부분이 어떤 작업에 맞는지를 학습했다. 최근의 제로샷 방법은 범용 파지 생성기로 안정적인 후보 파지를 많이 생성한 뒤 언어를 사용해 순위를 매긴다. 예를 들어 LERF-TOGO는 언어 임베딩 래디언스 필드를 사용해 질의에서 지명된 물체 부분을 찾고 그 부분 위의 파지를 남긴다.

작업 지향 파지는 어포던스 검출과 밀접하게 연결되어 있지만 같지는 않다. 어포던스 맵은 물체의 어디에서 행동이 일어날 수 있는지를 말해 주고, 작업 지향 파지는 그리퍼, 로봇의 도달 범위, 뒤따르는 동작을 고려해 어떤 특정 파지를 실행할지 결정하는 것이다. 작업에는 다른 사람이 관련될 수도 있다. 건네주기에서 로봇은 흔히 손잡이가 비어 있고 받는 사람을 향하도록 잡는다.

중요한 이유

물체를 옮기기만 하는 것이 아니라 사용하는 로봇은, 물체를 잘못된 방식으로 집어 들어 다시 잡거나 포기해야 하면 실패한다. 작업을 고려한 파지 선택은 예를 들어 날카로운 공구를 사람에게 건넬 때처럼 안전에도 영향을 준다.

주요 응용

• 망치, 드라이버, 뒤집개를 이용한 도구 사용
• 가정 및 주방 매니퓰레이션
• 사람에게 물체를 안전하게 건네주기
• 따르기와 용기 매니퓰레이션
• 부품의 한쪽 끝을 삽입을 위해 비워 두어야 하는 조립

실제 사례

주방 보조 로봇이 사람에게 칼을 건네 달라는 요청을 받는다. 인식 모듈이 칼을 분할하고, 파지 생성기가 칼을 따라 많은 평행 조 파지를 제안한다. 학습된 부분 분할기나 비전 언어 모델에 대한 언어 질의를 사용하는 부분 수준 단계가 날과 손잡이를 구분한다. 건네주기를 위해 로봇은 손잡이를 비워 두고 사람 쪽을 향하게 하는 파지를 남기고, 자르라는 요청을 받으면 대신 손잡이 위의 파지를 남긴다. 남은 후보는 도달 가능성과, 팔이 관절 한계에 걸리지 않고 뒤따르는 동작을 수행할 수 있는지를 검사받는다.

흔한 오해

• 안정적인 파지가 좋은 파지다 — 안정성은 필요하지만 충분하지 않으며, 파지는 작업을 위해 물체를 쓸 수 있는 상태로 남겨야 한다
• 각 물체에는 올바른 파지가 하나 있다 — 올바른 파지는 작업에 달려 있으며, 같은 칼도 자를 때와 건넬 때 다르게 잡는다
• 작업 지향 파지에는 모든 물체에 대해 작업별 학습 데이터가 필요하다 — 최근의 제로샷 방법은 언어 및 비전 언어 모델을 사용해 범용 파지 후보의 순위를 매기지만, 전용 데이터셋은 여전히 미세한 부분 구분에 도움이 된다

알아야 할 사람

• 도구 사용을 연구하는 매니퓰레이션 연구자
• 파지 계획 엔지니어
• 건네주기를 연구하는 인간-로봇 상호작용 연구자
• 서비스 로봇 개발자

관련 기술

• 파지 품질 지표(Grasp Quality Metrics)
• 부분 분할(Part Segmentation)
• 비전 언어 모델(Vision-Language Models)
• Language Embedded Radiance Fields(LERF)
• TaskGrasp 데이터셋(TaskGrasp Dataset)
• 파지 자세 검출(Grasp Pose Detection)

관련 용어

• Grasp Planning
• Neural Radiance Field
• VLM
• Gripper
• Affordance
• Open-Vocabulary Detection

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments