Task-Oriented Grasping

• 又称: TOG, task-aware grasping
• 类别: Planning & manipulation › Manipulation
• 标签: grasping, manipulation, affordances, tool-use, semantic-grasping

根据机器人接下来要用物体做什么来选择抓取，例如为了切割而握住刀柄，而不是只看抓取稳定性。

定义

大多数抓取规划器只问一个问题：这个抓取能否抓牢物体？面向任务的抓取（Task-oriented grasping）增加了第二个问题：这个抓取能否让机器人完成预期的任务？捏住杯沿的马克杯也许很稳，却挡住了倒水；握住杆身的螺丝刀无法转动。因此，面向任务的抓取选择把抓取稳定性与任务约束结合起来：物体的哪个部分可以接触，哪些接近方向能让功能部位保持空出，以及在执行任务时抓取必须抵抗哪些力和力矩。

方法随时间不断演变。早期的解析方法用任务将施加在物体上的力旋量集合来描述任务，并优先选择能够抵抗该集合的抓取，例如 Li 和 Sastry 为多指手提出的面向任务的抓取质量度量。后来的工作对物体部件及其可供性进行编码，标注把手、刀刃或壶嘴等区域，并从标注了任务相关抓取的物体数据集（例如 TaskGrasp）中学习哪些部件适合哪些任务。近期的零样本方法先用通用抓取生成器生成许多稳定的候选抓取，再借助语言对它们排序：例如 LERF-TOGO 使用一个嵌入语言的辐射场，找到查询中提到的物体部件，并保留位于该部件上的抓取。

面向任务的抓取与可供性检测密切相关，但并不相同。可供性图说明的是动作可以在物体上的哪里发生；面向任务的抓取则是在给定夹爪、机器人的可达范围和随后动作的情况下，决定执行哪一个具体抓取。任务也可能涉及另一个人：在递交物体时，机器人通常会以让把手空出并朝向接收者的方式抓取。

为何重要

使用物体而不只是搬动物体的机器人，如果拿错了方式，就不得不重新抓取或放弃任务。考虑任务的抓取选择还会影响安全，例如在把锋利工具递给人的时候。

主要应用

• 使用锤子、螺丝刀和锅铲等工具
• 家庭和厨房中的操作
• 安全地把物体递交给人
• 倒水和操作容器
• 零件一端必须空出以便插入的装配

实际应用

一个厨房助手被要求把一把刀递给一个人。感知模块分割出刀，抓取生成器沿着刀提出许多平行夹爪抓取。一个部件级步骤，使用训练好的部件分割器或在视觉语言模型上进行语言查询，把刀刃和刀柄区分开来。为了递交，机器人保留那些让刀柄空出并朝向对方的抓取；如果被要求切割，它则改为保留握在刀柄上的抓取。剩下的候选抓取会被检查可达性，以及手臂能否在不触及关节限位的情况下完成随后的动作。

常见误解

• 稳定的抓取就是好的抓取 — 稳定性是必要条件但不是充分条件；抓取还必须让物体可以用于该任务
• 每个物体都只有一种正确的抓取 — 正确的抓取取决于任务；同一把刀在切割和递交时的握法不同
• 面向任务的抓取需要为每个物体准备任务相关的训练数据 — 近期的零样本方法借助语言模型和视觉语言模型对通用候选抓取排序，不过专门的数据集在区分细小部件时仍有帮助

谁需要了解

• 从事工具使用研究的操作研究人员
• 抓取规划工程师
• 研究物体递交的人机交互研究人员
• 服务机器人开发者

相关技术

• 抓取质量度量（Grasp Quality Metrics）
• 部件分割（Part Segmentation）
• 视觉语言模型（Vision-Language Models）
• 语言嵌入辐射场（Language Embedded Radiance Fields，LERF）
• TaskGrasp 数据集（TaskGrasp Dataset）
• 抓取位姿检测（Grasp Pose Detection）

相关术语

• Grasp Planning
• Neural Radiance Field
• VLM
• Gripper
• Affordance
• Open-Vocabulary Detection

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments