Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Instance Segmentation

  • 又称: instance-level segmentation
  • 类别: Sensing › Perception outputs
  • 标签: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

一种感知任务:找出图像或点云中的每一个单独物体,并为它输出一个单独的掩码,通常附带类别标签,使相互接触的同类物体保持分开。

定义

实例分割(instance segmentation)把图像中的每个像素、或点云中的每个点,分配给一个具体的物体实例,为每个物体生成一个掩码。它结合了目标检测和分割:前者用边界框找出物体并加上标签,后者则在像素或点的层面上工作。它不同于语义分割,后者给每个像素标上类别(例如杯子),但不会把两个相互接触的杯子分开;它也不同于全景分割,后者把两者结合起来,为可数的物体给出实例掩码,为地面或墙壁等背景区域给出类别标签。

He 等人于 2017 年提出的 Mask R-CNN 成为标准的两阶段方法:先提出物体框,再在每个框内预测一个类别和一个二值掩码。后来的方法直接从学习得到的查询中预测掩码,而 Segment Anything 等可提示模型能根据一次点击或一个框生成与类别无关的掩码。在 3D 中,有的方法通过学习逐点嵌入或指向物体中心的偏移,把点归入各个实例;有的方法则把来自多个视角的 2D 掩码提升到点云上。性能通常以在一系列重叠阈值上计算的掩码平均精度来报告,如 COCO 基准中的做法。

机器人领域还带来了基准数据集并不强调的要求。家庭和仓库中的机器人会遇到任何训练集都未包含的物体,因此许多操作流程采用未见物体实例分割,它根据几何和外观把物体分开,而不指定类别。掩码必须与深度对齐,这样掩码中的像素才能转换成用于抓取或位姿估计的物体点云;边界误差或相互接触的物体被合并,都会直接导致抓取失败。交互式分割,即由人的一次点击或机器人的一次推动来消除歧义,是应对杂乱场景和新类别的常用方法。

为何重要

大多数操作流程在抓取、跟踪或估计任何物体的位姿之前,都需要知道哪些像素或点属于哪个物体。实例分割就是这一步,而它的失败模式,例如物体被合并、物体被拆开以及漏掉新物品,是杂乱场景中抓取失败的常见根本原因。

主要应用

  • 料箱拣选和仓库订单履行
  • 家庭杂乱环境中的抓取
  • 以掩码为起点的物体位姿估计流程
  • 分离单个果实或植株的农业机器人
  • 移动机器人和自动驾驶车辆的多目标跟踪
  • 构建物体级语义地图

实际应用

在一个料箱拣选工作站中,料箱上方的 RGB-D 深度相机拍下一帧混杂包裹的图像。一个用该现场产品种类训练的实例分割网络为每个包裹输出一个掩码;每个掩码被应用到对齐的深度图像上,切出该包裹的点云,再交给抓取规划器,由它在顶面中心附近选取一个吸取点。团队会跟踪两个同样大小的箱子被合并成一个掩码的失败情况,因为这时抓取点会落在两者之间的接缝上,并把紧密堆放的箱子图像加入训练集。对于网络从未见过的物品,由一个与类别无关的模型提供后备掩码;置信度低的掩码会被跳过,直到机器人移走相邻物品或拨动这堆物品为止。

常见误解

  • 实例分割与语义分割是一回事 — 语义分割标注类别,但无法区分两个相邻的同类物体
  • 有边界框就足以抓取 — 边界框会包含背景和相邻物体,因此需要掩码来分离出物体自身的像素或点
  • 在大型基准上训练的模型能分割任何物体 — 封闭集模型只认识其训练类别,而机器人经常遇到这些类别之外的物体
  • 基准精度高就意味着抓取可靠 — 杂乱场景中细小的边界误差和物体合并,对抓取的影响远大于对平均精度分数的影响

谁需要了解

  • 从事操作任务的感知工程师
  • 仓储和物流自动化开发人员
  • 研究 3D 场景的计算机视觉研究人员
  • 农业机器人工程师

相关技术

  • Mask R-CNN
  • Segment Anything Model
  • 全景分割(Panoptic Segmentation)
  • 未见物体实例分割(Unseen Object Instance Segmentation)
  • COCO 数据集(COCO Dataset)

相关术语

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

视频

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。