Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

6-DoF Grasp Pose

  • 又称: 6-DoF grasp
  • 类别: Planning & manipulation › Manipulation
  • 标签: grasping, pose-estimation, point-clouds, manipulation, grasp-detection

夹爪应在其处闭合抓住物体的完整 3D 位置和 3D 姿态,区别于自由参数更少的平面抓取或自上而下抓取。

定义

6-DoF 抓取位姿(6-DoF grasp pose)指定夹爪在闭合抓住物体时应处的位置:位置有三个自由度,姿态有三个自由度,合起来是 SE(3) 中的一个元素。它通常表示为夹爪参考坐标系的位姿,该坐标系常位于两指尖之间的中心,相对于相机、机器人基座或物体给出。对于平行夹爪,这一描述常扩展加入张开宽度;对于多指手,则加入手指关节角;但正是其中的 6-DoF 部分让夹爪可以从任意方向接近。

这个术语主要用来与低维的抓取表示相对照。早期基于学习的抓取预测的是平面抓取(planar grasps),例如图像中带方向的矩形,相当于自上而下的接近,包含一个位置、一个深度和绕竖直轴的旋转,约四个自由度。这些表示对于平放在料箱中、从上方观察的物体是够用的,但无法从侧面抓起马克杯、抓起横放在货架上的瓶子或人手中拿着的物体。6-DoF 方法在接近方向的完整空间中搜索,这使它们更通用,但也更难:空间更大,许多候选位姿会与物体或场景发生碰撞,而且结果必须是机械臂可达的。

典型的 6-DoF 流程从局部点云开始。基于采样的方法,例如 Grasp Pose Detection,利用对跖接触等几何启发式提出大量夹爪位姿,再用学习得到的分类器为它们打分。生成式方法,例如 6-DOF GraspNet,从学习得到的分布中采样抓取位姿并用学习得到的评估器加以细化,而 Contact-GraspNet 则预测锚定在整个场景中观测到的表面点上的抓取。随后,每个候选都要经过碰撞检查、用逆运动学求解,并按以下步骤执行:先到达沿接近轴后退一小段距离的预抓取位姿,再直线接近、闭合并提起。坐标系约定很重要:不同的库在哪个夹爪轴为接近方向以及坐标系原点位于何处上各不相同;并且平行夹爪的抓取绕其接近轴旋转 180 度后在物理上是同一个抓取,这会同时影响训练损失和评估。

为何重要

大多数真实物体并不是平放在料箱里的。货架、桌面、杂乱场景以及人手中拿着的物体,都需要从竖直向下以外的方向接近,而 6-DoF 抓取位姿正是使这些抓取成为可能的表示。它们也是抓取检测器与运动规划器之间的通用接口。

主要应用

  • 从货架、桌面和杂乱场景中拾取物体
  • 人到机器人递交人手中拿着的物体
  • 家庭和仓库中的移动机械臂操作
  • 从局部点云中抓取以前从未见过的物体
  • 在仿真中生成用于学习的抓取数据集

实际应用

一台厨房机器人需要拿起一个直立放置、把手朝外的马克杯。深度相机给出马克杯的局部点云,抓取网络返回几百个带分数的 6-DoF 抓取候选。软件把这些候选变换到机器人基座坐标系,丢弃与桌面或场景碰撞的那些,并对其余候选求解逆运动学,保留那些无需接近关节极限即可到达的。对于最佳抓取(从侧面夹住杯沿),规划器先移动到沿夹爪接近轴后退 10 厘米的预抓取位姿,然后直线接近、闭合夹爪并提起。早期的一个错误追溯到抓取库与机器人夹爪使用了不同的接近轴,通过在两种坐标系约定之间加入一个固定旋转解决了这个问题。

常见误解

  • 有了 6-DoF 抓取位姿就足以执行抓取 — 它仍须通过碰撞检查、有逆运动学解,并经过合理的预抓取接近才能到达
  • 自上而下的抓取足以应对大多数任务 — 它们适用于平放在敞口料箱中的物体,但货架、朝向侧面的把手以及人手中拿着的物体需要自上而下抓取无法提供的接近方向
  • 所有抓取库都使用相同的夹爪坐标系 — 接近轴和坐标系原点因工具而异,混用约定会悄无声息地产生错误的抓取
  • “GraspNet”指的是一种方法 — 6-DOF GraspNet 与 GraspNet-1Billion 数据集及其基线是来自不同团队的不同工作

谁需要了解

  • 操作与抓取工程师
  • 构建拾放系统的感知工程师
  • 研究抓取检测的机器人学习研究人员
  • 移动机械臂操作开发者

相关技术

  • 6-DOF GraspNet
  • Contact-GraspNet
  • Grasp Pose Detection(GPD)
  • MoveIt
  • Open3D

相关术语

  • Grasp Planning
  • Antipodal Grasp
  • Grasp Quality Metric
  • SE(3)
  • Point Cloud
  • 6D rotation representation

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
  • Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。