Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

Autoren: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Objekte, die der Roboter schon gehandhabt hat, wiedererkennen und ihre partiellen TSDF-Modelle wiederverwenden: Die Erfolgsquote steigt von 85 % auf 98 %, und es sind weniger Übergaben zwischen den Armen und Neuscans nötig.

Warum es wichtig ist

Ein Roboter, der dieselben Gegenstände wiederholt sieht, etwa in Lagern oder Küchen, kann frühere Begegnungen nutzen, um die Formunsicherheit zu verringern, statt bei null anzufangen. Das Paper zeigt, dass dies die Zahl zusätzlicher Manipulationsschritte senkt, die nötig sind, um Objekte in eingeschränkten Bereichen zu platzieren.

Problem

Pick-and-Place-Systeme für Objekte ohne bekannte 3D-Modelle behandeln meist jedes Objekt als neu, selbst wenn dasselbe Objekt schon einmal gehandhabt wurde. Für das Platzieren in engen Räumen müssen sie für ungesehene Teile ein konservatives Volumen annehmen, was zusätzliche Übergaben zwischen den Armen und aktive Wahrnehmungsbewegungen erzwingt und manchmal gar keinen sicheren Griff übrig lässt.

Lösungsansatz

Jedes manipulierte Objekt wird als Volumen einer abgeschnittenen vorzeichenbehafteten Distanzfunktion (TSDF) mit 1 mm Auflösung plus 64 Clustern von ResNet50-Farbmerkmalen aus verschiedenen Blickwinkeln gespeichert. Ein neues Objekt wird über die Kosinus-Distanz dem Datensatz zugeordnet, dann registriert ein GPU-Partikelfilter das gespeicherte partielle Modell und verwirft Posen, die in beobachtetem Freiraum oder unterhalb des Tisches liegen. Derselbe Partikelfilter verfolgt das Objekt in der Hand, während neue Tiefenansichten in sein Modell fusioniert werden.

Wichtigste Erkenntnisse

Occupancy-Grid-Modelle waren nicht präzise genug, um sie aufgabenübergreifend wiederzuverwenden; ein 1-mm-TSDF-Volumen war es
Das Verwerfen von Posenhypothesen, die das Modell in beobachteten Freiraum oder unter die Auflageebene setzen, wies die eine Fehlerkennung zurück, bevor sie eine Aufgabe scheitern ließ
Ein Objekt durch mehrere Merkmalscluster aus verschiedenen Blickwinkeln statt durch ein mittleres Merkmal darzustellen, erhöht den Recall beim gewählten Schwellenwert von 0,211 auf 0,886
Falsch-Negative kosten nur Effizienz, da das Objekt als neu behandelt wird, während Falsch-Positive eine Aufgabe scheitern lassen können; daher wird der Schwellenwert auf hohe Präzision eingestellt
Nur eine Region of Interest zu rendern, halbiert die Iterationszeit des Partikelfilters gegenüber der früheren Methode mit Vollbild

Hauptergebnisse

Aufgabenerfolg 54/55 (98 %) gegenüber 47/55 (85 %) bei der Baseline, die jedes Objekt als neu behandelt
Übergabeaktionen in 20/55 Aufgaben (36 %) gegenüber 37/55 (67 %) bei der Baseline
Aktive Wahrnehmungsaktionen in 8/55 Aufgaben (14 %) gegenüber 35/55 (63 %) bei der Baseline
Die Registrierung eines gespeicherten Modells verringerte das konservative Formunsicherheitsvolumen im Mittel um 32 % und um bis zu 75 %
Objekt in 49/55 Experimenten korrekt erkannt, mit 5 Falsch-Negativen und 1 Falsch-Positiven, das die Posenschätzung verwarf
Rekonstruierte Modelle für alle vier Objekte innerhalb von 5 mm Chamfer-Distanz zur Ground Truth; Iterationen der Posenschätzung dauern etwa 30 ms gegenüber etwa 60 ms bei der früheren Methode mit 625 Partikeln

Einschränkungen

Die Autoren geben an, dass die TSDF-Repräsentation nicht für dünne Strukturen geeignet ist, sodass Objekte wie Schüsseln schwer zu rekonstruieren und zu verfolgen sind
Unaufgeräumte Szenen bleiben künftiger Arbeit überlassen; jede Aufgabe enthält ein einzelnes, vereinzeltes Objekt
Rekonstruierte Modelle enthalten verrauschte innere Punkte aus Tracking-Fehlern, wenn das Objekt stark verdeckt ist
Evaluiert an vier Objekten in 55 Aufgaben pro System; Falsch-Negative treten auf, wenn der sichtbare Teil eines Objekts zuvor noch nicht gesehen wurde

Wirkung auf das Fachgebiet

Finalist für den ICRA 2022 Outstanding Manipulation Paper award, mit 17 Zitierungen. Die Autoren geben an, dass der Partikelfilter-Posenschätzer als 6DoF-Posen-Annotationswerkzeug auf GitHub als Open Source veröffentlicht ist.

Zusammenfassung

Diese Arbeit schlägt eine robotische Pipeline zum Greifen und eingeschränkten Platzieren von Objekten ohne geometrische Formpriors vor. Im Vergleich zu neueren Arbeiten für ähnliche Aufgaben, in denen jedes Objekt als neu angenommen wurde, erkennt das vorgeschlagene System zuvor manipulierte Objekte und führt eine Online-Modellrekonstruktion und -wiederverwendung durch. Über einen lebenslangen Manipulationsprozess hinweg lernt das System fortlaufend Merkmale der Objekte, mit denen es interagiert hat, und aktualisiert deren rekonstruierte Modelle. Immer wenn eine Instanz eines zuvor manipulierten Objekts wieder auftaucht, versucht das System, sie zunächst zu erkennen und dann ihr zuvor rekonstruiertes Modell anhand der aktuellen Beobachtung zu registrieren. Dieser Schritt verringert die Unsicherheit über die Objektform erheblich und erlaubt es dem System, sogar über Teile der Objekte zu schließen, die gerade nicht beobachtbar sind. Dies führt auch zu einer besseren Manipulationseffizienz, da es den Bedarf an aktiver Wahrnehmung des Zielobjekts während der Manipulation verringert. Um ein wiederverwendbares rekonstruiertes Modell zu erhalten, verwendet die vorgeschlagene Pipeline: i) TSDF zur Objektrepräsentation und ii) eine Variante des Standard-Partikelfilter-Algorithmus zur Posenschätzung und Verfolgung des partiellen Objektmodells. Darüber hinaus wird ein effektiver Weg vorgestellt, einen Datensatz manipulierter Objekte aufzubauen und zu pflegen. Eine Reihe realer Manipulationsexperimente zeigt, wie künftige Manipulationsaufgaben effektiver und effizienter werden, wenn rekonstruierte Modelle zuvor manipulierter Objekte, die im laufenden Betrieb erzeugt wurden, wiederverwendet werden, statt Objekte jedes Mal als neu zu behandeln.

Open Source Robotics