Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Instance Segmentation

  • 別名: instance-level segmentation
  • カテゴリ: Sensing › Perception outputs
  • タグ: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

画像や点群の中の個々の物体を見つけ、それぞれに別々のマスクを、通常はクラスラベルとともに出力する知覚タスク。これにより、接している同種の物体も分けたまま扱える。

定義

インスタンスセグメンテーション(instance segmentation)は、画像の各ピクセル、または点群の各点を特定の物体インスタンスに割り当て、物体ごとに 1 枚のマスクを生成する。これは、物体を見つけてバウンディングボックスでラベル付けする物体検出と、ピクセルや点のレベルで働くセグメンテーションを組み合わせたものである。セマンティックセグメンテーションとは異なる。セマンティックセグメンテーションはすべてのピクセルにコップのようなクラスのラベルを付けるが、接している 2 つのコップを分けない。また、両者を統合して、数えられる物体にはインスタンスマスクを、床や壁などの背景領域にはクラスラベルを与えるパノプティックセグメンテーションとも異なる。

2017 年に He らが発表した Mask R-CNN は、標準的な 2 段階の手法となった。まず物体のボックスを提案し、次に各ボックスの内部でクラスと二値マスクを予測する。その後の手法は学習したクエリから直接マスクを予測し、Segment Anything のようなプロンプト可能なモデルは、1 回のクリックや 1 つのボックスからクラスに依存しないマスクを生成する。3D では、点ごとの埋め込みや物体中心へのオフセットを学習して点をインスタンスにまとめる手法や、複数の視点からの 2D マスクを点群上に持ち上げる手法がある。性能は通常、COCO ベンチマークのように、ある範囲の重なりしきい値にわたるマスク平均適合率で報告される。

ロボティクスでは、ベンチマークのデータセットが重視しない要件が加わる。家庭や倉庫のロボットは、どの訓練セットにも含まれていなかった物体に出会うため、多くのマニピュレーションのパイプラインでは未知物体インスタンスセグメンテーションを使う。これはクラスを割り当てずに、形状と見た目によって物体を分離する。マスクは深度と位置が合っていなければならず、そうすることでマスクのピクセルを把持や姿勢推定のための物体点群に変換できる。境界の誤差や接触した物体の結合は、そのまま把持の失敗につながる。人のクリックやロボットの押し動作で曖昧さを解消するインタラクティブセグメンテーションは、乱雑な環境や新しいカテゴリに対処する一般的な方法である。

重要な理由

ほとんどのマニピュレーションのパイプラインでは、何かを把持、追跡、または姿勢推定する前に、どのピクセルや点がどの物体に属するかを知る必要がある。インスタンスセグメンテーションはその段階であり、物体の結合、物体の分裂、新しい物品の見落としといったその故障モードは、乱雑な環境での把持失敗のよくある根本原因である。

主な用途

  • ビンピッキングと倉庫での注文処理
  • 家庭の散らかった環境での把持
  • マスクから始まる物体姿勢推定パイプライン
  • 個々の果実や植物を分離する農業ロボット
  • 移動ロボットと自動運転車のための複数物体追跡
  • 物体レベルのセマンティックマップの構築

実際の使われ方

ビンピッキングのセルでは、ビンの上にある RGB-D 深度カメラが、さまざまな荷物が混在する 1 フレームを撮影する。現場の取扱製品で訓練したインスタンスセグメンテーションのネットワークが荷物ごとに 1 枚のマスクを出力する。各マスクを位置合わせ済みの深度画像に適用してその荷物の点群を切り出し、それを把持プランナーに渡すと、プランナーは上面の中心付近に吸着点を選ぶ。チームは、同じ大きさの 2 つの箱が 1 枚のマスクに結合されてしまう失敗を追跡する。その場合、把持点が 2 つの箱の継ぎ目に落ちるからである。そして、ぎっしり詰まった箱の画像を訓練セットに加える。ネットワークが一度も見たことのない物品については、クラスに依存しないモデルが予備のマスクを提供し、信頼度の低いマスクは、ロボットが隣の物品を取り除くか山を軽く押すまで見送られる。

よくある誤解

  • インスタンスセグメンテーションはセマンティックセグメンテーションと同じである — セマンティックセグメンテーションはクラスをラベル付けするが、隣り合う同じクラスの 2 つの物体を区別できない
  • 把持にはバウンディングボックスで十分である — ボックスには背景や隣の物体が含まれるので、物体自身のピクセルや点を切り分けるにはマスクが必要である
  • 大規模なベンチマークで学習したモデルはどんな物体でもセグメンテーションできる — クローズドセットのモデルは訓練クラスしか知らず、ロボットはその外にある物体に日常的に出会う
  • ベンチマークの適合率が高ければ把持も信頼できる — 乱雑な環境での小さな境界誤差や物体の結合は、平均適合率のスコアよりも把持にとってはるかに重要である

知っておくべき人

  • マニピュレーションに取り組む知覚エンジニア
  • 倉庫・物流自動化の開発者
  • 3D シーンを研究するコンピュータビジョン研究者
  • 農業ロボットのエンジニア

関連技術

  • Mask R-CNN
  • Segment Anything Model
  • パノプティックセグメンテーション(Panoptic Segmentation)
  • 未知物体インスタンスセグメンテーション(Unseen Object Instance Segmentation)
  • COCO データセット(COCO Dataset)

関連用語

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

関連プロジェクト

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

動画

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。