Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Instance Segmentation

  • Auch genannt: instance-level segmentation
  • Kategorie: Sensing › Perception outputs
  • Schlagwörter: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

Eine Wahrnehmungsaufgabe, die jedes einzelne Objekt in einem Bild oder einer Punktwolke findet und dafür eine eigene Maske ausgibt, meist mit einem Klassenlabel, sodass sich berührende Objekte desselben Typs getrennt bleiben.

Definition

Instanzsegmentierung (instance segmentation) ordnet jedes Pixel eines Bildes oder jeden Punkt einer Punktwolke einer bestimmten Objektinstanz zu und erzeugt so eine Maske pro Objekt. Sie verbindet die Objekterkennung, die Objekte findet und mit Begrenzungsrahmen beschriftet, mit der Segmentierung, die auf der Ebene von Pixeln oder Punkten arbeitet. Sie unterscheidet sich von der semantischen Segmentierung, die jedes Pixel mit einer Klasse wie Tasse beschriftet, zwei sich berührende Tassen aber nicht trennt, und von der panoptischen Segmentierung, die beides verbindet, indem sie für zählbare Objekte Instanzmasken und für Hintergrundbereiche wie Boden oder Wand Klassenlabels liefert.

Mask R-CNN, 2017 von He und Kollegen vorgestellt, wurde zum Standardansatz in zwei Stufen: Objektrahmen vorschlagen, dann in jedem Rahmen eine Klasse und eine binäre Maske vorhersagen. Spätere Verfahren sagen Masken direkt aus gelernten Queries voraus, und promptbare Modelle wie Segment Anything erzeugen klassenunabhängige Masken aus einem Klick oder einem Rahmen. In 3D gruppieren Verfahren Punkte zu Instanzen, indem sie punktweise Einbettungen oder Versätze zu Objektmittelpunkten lernen, oder sie übertragen 2D-Masken aus mehreren Ansichten auf eine Punktwolke. Die Leistung wird üblicherweise als Masken-Average-Precision über einen Bereich von Überlappungsschwellen angegeben, wie im COCO-Benchmark.

Die Robotik bringt Anforderungen mit, die Benchmark-Datensätze nicht betonen. Roboter in Haushalten und Lagern treffen auf Objekte, die in keinem Trainingsdatensatz enthalten waren, daher nutzen viele Manipulationspipelines die Instanzsegmentierung unbekannter Objekte, die Objekte nach Geometrie und Erscheinung trennt, ohne eine Klasse zuzuweisen. Masken müssen mit der Tiefe übereinstimmen, damit die Pixel einer Maske in eine Objektpunktwolke für das Greifen oder die Posenschätzung umgewandelt werden können, und Randfehler oder verschmolzene, sich berührende Objekte schlagen direkt auf fehlgeschlagene Griffe durch. Interaktive Segmentierung, bei der ein Klick eines Menschen oder ein Schubs des Roboters eine Mehrdeutigkeit auflöst, ist ein gängiger Weg, mit Unordnung und neuen Kategorien umzugehen.

Warum es wichtig ist

Die meisten Manipulationspipelines müssen wissen, welche Pixel oder Punkte zu welchem Objekt gehören, bevor sie irgendetwas greifen, verfolgen oder seine Pose schätzen können. Die Instanzsegmentierung ist dieser Schritt, und ihre Fehlerbilder, etwa verschmolzene Objekte, aufgeteilte Objekte und übersehene neue Gegenstände, sind eine häufige Grundursache für fehlgeschlagene Griffe in Unordnung.

Wichtige Anwendungen

  • Griff in die Kiste und Auftragsabwicklung im Lager
  • Greifen in unaufgeräumten Haushaltsumgebungen
  • Pipelines zur Objektposenschätzung, die von einer Maske ausgehen
  • Agrarroboter, die einzelne Früchte oder Pflanzen trennen
  • Mehrobjektverfolgung für mobile Roboter und autonome Fahrzeuge
  • Aufbau semantischer Karten auf Objektebene

In der Praxis

In einer Zelle für den Griff in die Kiste nimmt eine RGB-D-Kamera über der Kiste ein Bild gemischter Pakete auf. Ein Instanzsegmentierungsnetz, das auf dem Produktsortiment des Standorts trainiert wurde, gibt eine Maske pro Paket aus; jede Maske wird auf das ausgerichtete Tiefenbild angewendet, um die Punktwolke dieses Pakets auszuschneiden, die an einen Griffplaner geht, der einen Saugpunkt nahe der Mitte der Oberseite wählt. Das Team verfolgt Fehler, bei denen zwei gleich große Kartons zu einer Maske verschmolzen werden, da der Greifpunkt dann auf der Fuge zwischen ihnen landet, und fügt dem Trainingsdatensatz Bilder dicht gepackter Kartons hinzu. Für Gegenstände, die das Netz nie gesehen hat, liefert ein klassenunabhängiges Modell Ersatzmasken, und Masken mit geringer Konfidenz werden übersprungen, bis der Roboter benachbarte Gegenstände entnommen oder den Haufen angestoßen hat.

Häufige Missverständnisse

  • Instanzsegmentierung ist dasselbe wie semantische Segmentierung — semantische Segmentierung beschriftet Klassen, kann aber zwei benachbarte Objekte derselben Klasse nicht auseinanderhalten
  • Ein Begrenzungsrahmen reicht zum Greifen — Rahmen enthalten Hintergrund und benachbarte Objekte, daher braucht es eine Maske, um die eigenen Pixel oder Punkte des Objekts zu isolieren
  • Ein auf einem großen Benchmark trainiertes Modell segmentiert jedes Objekt — Closed-Set-Modelle kennen nur ihre Trainingsklassen, und Roboter treffen routinemäßig auf Objekte außerhalb davon
  • Hohe Benchmark-Präzision bedeutet zuverlässige Griffe — kleine Randfehler und verschmolzene Objekte in Unordnung wiegen für einen Griff weit schwerer als für einen Average-Precision-Wert

Wer das wissen sollte

  • Wahrnehmungsingenieure, die an Manipulation arbeiten
  • Entwickler für Lager- und Logistikautomatisierung
  • Forschende in Computer Vision, die an 3D-Szenen arbeiten
  • Ingenieure für Agrarrobotik

Verwandte Technologien

  • Mask R-CNN
  • Segment Anything Model
  • Panoptische Segmentierung (Panoptic Segmentation)
  • Instanzsegmentierung unbekannter Objekte (Unseen Object Instance Segmentation)
  • COCO-Datensatz

Verwandte Begriffe

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

Verwandte Projekte

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

Videos

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.