Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Instance Segmentation

  • 又稱: instance-level segmentation
  • 類別: Sensing › Perception outputs
  • 標籤: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

一種感知任務:找出影像或點雲中的每一個個別物體,並為它輸出各自的遮罩,通常附帶類別標籤,讓相碰的同類物體保持分開。

定義

實例分割(instance segmentation)把影像中的每個像素、或點雲中的每個點,指派給一個特定的物體實例,為每個物體產生一個遮罩。它結合了物件偵測與分割:前者以邊界框找出物體並加上標籤,後者則在像素或點的層次上運作。它不同於語意分割,後者為每個像素標上類別(例如杯子),卻不會把兩個相碰的杯子分開;它也不同於全景分割,後者把兩者結合起來,為可數的物體提供實例遮罩,為地板或牆壁等背景區域提供類別標籤。

He 等人在 2017 年提出的 Mask R-CNN 成為標準的兩階段方法:先提出物體框,再在每個框內預測一個類別與一個二值遮罩。後來的方法直接從學習而得的查詢預測遮罩,而 Segment Anything 等可提示模型能依據一次點選或一個框,產生與類別無關的遮罩。在 3D 中,有些方法藉由學習逐點嵌入或指向物體中心的偏移,把點歸入各個實例;有些方法則把來自多個視角的 2D 遮罩提升到點雲上。效能通常以在一系列重疊門檻上計算的遮罩平均精確度來報告,如同 COCO 基準的做法。

機器人領域還帶來基準資料集並未強調的要求。家庭與倉庫中的機器人會遇到任何訓練集都沒有的物體,因此許多操作流程採用未見物體實例分割,它依據幾何與外觀把物體分開,而不指定類別。遮罩必須與深度對齊,遮罩中的像素才能轉換成供抓取或姿態估測使用的物體點雲;邊界誤差或相碰物體被合併,都會直接造成抓取失敗。互動式分割,也就是由人的一次點選或機器人的一次推動來消除歧義,是處理雜亂場景與新類別的常見方式。

為何重要

大多數操作流程在抓取、追蹤或估測任何物體的姿態之前,都需要知道哪些像素或點屬於哪個物體。實例分割就是這一步,而它的失效模式,例如物體被合併、物體被拆開,以及漏掉沒見過的物品,是雜亂場景中抓取失敗常見的根本原因。

主要應用

  • 料箱揀選與倉儲訂單履行
  • 家中雜亂環境裡的抓取
  • 從遮罩出發的物體姿態估測流程
  • 分辨個別果實或植株的農業機器人
  • 移動機器人與自駕車的多目標追蹤
  • 建立物體層級的語意地圖

實際應用

在一個料箱揀選工作站中,料箱上方的 RGB-D 攝影機拍下一張混雜包裹的影像。以該現場產品品項訓練的實例分割網路為每個包裹輸出一個遮罩;每個遮罩套用到對齊的深度影像上,切出該包裹的點雲,再交給抓取規劃器,由它在頂面中心附近選定一個吸取點。團隊會追蹤兩個同尺寸箱子被合併成一個遮罩的失敗案例,因為此時抓取點會落在兩者之間的接縫上,並把緊密堆放的箱子影像加入訓練集。對於網路從未見過的物品,由一個與類別無關的模型提供備援遮罩;信心度低的遮罩會先跳過,直到機器人移走相鄰物品或撥動這堆物品為止。

常見誤解

  • 實例分割與語意分割是同一回事 — 語意分割標註類別,但無法分辨兩個相鄰的同類物體
  • 有邊界框就足以抓取 — 邊界框會包含背景與相鄰物體,因此需要遮罩才能分離出物體本身的像素或點
  • 在大型基準上訓練的模型能分割任何物體 — 封閉集合模型只認得它的訓練類別,而機器人經常遇到這些類別以外的物體
  • 基準精確度高就代表抓取可靠 — 雜亂場景中細小的邊界誤差與物體合併,對抓取的影響遠大於對平均精確度分數的影響

誰需要了解

  • 從事操作任務的感知工程師
  • 倉儲與物流自動化開發人員
  • 研究 3D 場景的電腦視覺研究人員
  • 農業機器人工程師

相關技術

  • Mask R-CNN
  • Segment Anything Model
  • 全景分割(Panoptic Segmentation)
  • 未見物體實例分割(Unseen Object Instance Segmentation)
  • COCO 資料集(COCO Dataset)

相關術語

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

相關專案

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

影片

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。