Category-Level Manipulation

• 类别: Planning & manipulation › Manipulation
• 标签: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

能够泛化到某一物体类别所有实例的操作，例如任何马克杯或任何抽屉，包括此前从未见过、也没有 CAD 模型的实例。

定义

类别级操作（Category-level manipulation）旨在赋予机器人适用于某一物体类别中任何成员、而不只是某一个特定物体的技能。一台学会了把马克杯挂在杯柄上的机器人，应当能够挂起一个形状、大小和颜色都不同、它从未见过的马克杯，而且不需要提供该杯子的 3D 模型。它介于实例级操作和完全通用的任意物体操作之间：在实例级操作中，每个物体都有已知的 CAD 模型。

核心难点在于同一类别中的实例形状各不相同，因此一个固定的物体位姿对每个实例的含义并不相同。因此，类别级方法会在整个类别上定义一种共享的、与任务相关的表示。例子包括：在归一化规范坐标系中的类别级位姿，如用于 6D 位姿和尺寸估计的 NOCS；语义关键点集合，例如马克杯的杯口中心和杯柄，如 kPAM；以及把不同实例上的对应点映射到相似特征的稠密学习描述子，如 Neural Descriptor Fields。然后用这种表示来描述任务，例如关键点之间的目标关系，或相对于规范坐标系的夹爪位姿，并通过在新实例上估计该表示，把任务迁移到新实例上。

一个吸引人之处在于数据效率：原则上，在一个实例上的单次演示就可以通过共享表示迁移到所有其他实例。代价是类别必须预先定义，训练需要每个类别有大量实例（通常来自合成形状数据集），而且在几何形状或功能偏离训练集的不寻常成员上，性能会下降。

为何重要

真实的家庭、仓库和实验室中有同一类物体的许多变体，为每一个都提供 CAD 模型或新的演示是不现实的。类别级方法让一次教会的技能能够适用于一整族物体，这是机器人在固定工业环境之外工作的前提。

主要应用

• 涉及马克杯、瓶子、碗和餐具的家务任务
• 打开设计各异的抽屉、门和其他铰接物体
• 仓库中产品变体的配套拣选和取放
• 把单次演示迁移到新的物体实例
• 通过工具的功能部位进行面向任务的抓取

实际应用

一个团队希望机器人把马克杯竖直放到杯架上。他们在用随机纹理渲染的合成马克杯模型上训练一个类别级位姿与关键点估计器，并记录一次演示：抓取时夹爪相对于杯柄关键点的位姿，以及马克杯规范坐标系相对于杯架挂钉的目标位姿。运行时，深度相机分割出一个新的马克杯，网络预测其规范位姿和关键点，存储的抓取和放置被针对这个实例重新表达，再由运动规划器生成机械臂轨迹。杯柄形状不寻常的马克杯上发生的失败会被记录下来，然后作为额外的形状加入训练集。

常见误解

• 类别级方法仍然需要每个物体的 CAD 模型 — 其目标是只用为整个类别学到的表示来处理未见过的实例
• 任何宽泛的物体类都可以算作一个类别 — 这些方法通常依赖共同的几何和功能，例如马克杯或笔记本电脑，难以处理工具这类定义宽松的类
• 物体的中心和朝向足以迁移一项技能 — 由于形状各不相同，杯柄或杯口等与任务相关的部位通常需要各自的关键点或对应关系

谁需要了解

• 研究泛化的操作研究人员
• 构建物体位姿估计器的感知工程师
• 家用和服务机器人开发人员
• 模仿学习从业者

相关技术

• 类别级 6D 位姿估计（Category-Level 6D Pose Estimation）
• NOCS
• kPAM
• Neural Descriptor Fields
• 语义关键点（Semantic Keypoints）
• ShapeNet

相关术语

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

视频

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated