MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

Autoren: Andrea Sipos, Nima Fazeli · RSS 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Zwei Arme tippen ihre gegriffenen Objekte mehrmals aneinander; Partikelfilter, bewertet nach Kontakt, Kraft und Konsistenz über die Aktionen hinweg, gewinnen beide Posen in der Hand auf etwa 0,5 cm genau zurück.

Warum es wichtig ist

Die Methode braucht weder Kamera noch hochauflösende taktile Haut, nur die Gelenksensorik und Wrench-Schätzung, die Cobots wie der Franka Emika Panda bereits liefern, oder einen handelsüblichen Kraft-Momenten-Sensor am Handgelenk. Damit wird die Korrektur der Pose in der Hand auch in verdeckten Umgebungen mit gängiger Hardware möglich.

Problem

Fehler in der Pose eines gegriffenen Objekts verursachen beim Werkzeuggebrauch und in der Montage Rutschen, unerwartete Kontakte und Verklemmen. Bildbasierte Schätzer versagen bei Verdeckung, die in der Feinmontage und in engen Räumen häufig ist, und hochauflösende taktile Sensoren sind teuer, ermüden leicht und sind schwer zu modellieren. Ein einzelner Kontakt (wie in der früheren SCOPE-Methode der Autoren) lässt die Pose oft mehrdeutig.

Lösungsansatz

MultiSCOPE erweitert SCOPE, das einen Kontakt-Partikelfilter (CPFGrasp) mit einem Partikelfilter für die Objektpose kombiniert, von einem Kontakt auf eine Folge von Stößen zwischen zwei Objekten, die von zwei Armen gehalten werden, und nutzt dabei nur Propriozeption und 6-achsige Wrenches am Handgelenk. Es ergänzt einen Schritt zur Werkzeugsegmentierung (K-Means auf Oberflächennormalen, danach DBSCAN), damit jede Fläche Kontaktpartikel erhält, einen Wrench-Verlust, der Posen bevorzugt, deren Kontakte den gemessenen Wrench am Handgelenk erklären, und einen Gedächtnisverlust, der Posen gegen eine aus früheren Aktionen aufgebaute Kontaktwolke bewertet, mit 'Memory Dropout', wenn sich eine frühere Aktion als inkonsistent erweist.

Wichtigste Erkenntnisse

Die Kombination mehrerer Kontaktaktionen beseitigt Mehrdeutigkeiten, die eine einzelne Aktion übrig lässt: Ein Stoß kann eine Richtung einschränken, ein zweiter Stoß eine andere
Kontaktpartikel pro segmentierter Fläche statt gleichmäßig über die Oberfläche zu verteilen verhindert, dass kleine, aber funktional wichtige Flächen übersehen werden, und verringert die Zahl der benötigten Partikel
Die Forderung, dass die geschätzten Kontakte den gemessenen Wrench am Handgelenk reproduzieren (der Wrench-Verlust), war in der Ablation der stärkste Einzelverlust
Der Kalibrierfehler zwischen den Robotern ist wichtig: Ohne Kalibrierung sahen die Autoren 1–1,5 cm RMS-Fehler zwischen den beiden Armen, mit einer ICP-basierten Routine reduziert auf 3–7 mm

Hauptergebnisse

Simulation, Schraubenschlüssel-Werkzeug, 10 Versuche mit 5 Aktionen: Posenfehler des Werkzeugs 0,47 ± 0,27 cm und −0,76 ± 2,01°, Posenfehler der Sonde 0,49 ± 0,28 cm und −2,67 ± 4,76°; 8 von 10 Aufgaben mit engen Toleranzen (Schlüssel auf Schraube) gelangen
Der Ablationslauf der vollständigen Methode (Table I, 5 Versuche) berichtet 0,48 ± 0,16 cm Werkzeugfehler und 100 % Aufgabenerfolg, der Lauf mit 10 Versuchen (Text und Table II) 0,47 ± 0,27 cm und 80 %; es handelt sich um getrennte Versuchsreihen
Einzelne Aktionen allein ergaben im Mittel 1,08 cm Translationsfehler des Werkzeugs und 40 % Aufgabenerfolg, gegenüber 0,47 cm und 80 % für die vollständige Methode mit mehreren Aktionen (Table II)
Mit Kraft-Momenten-Rauschen von 5 % der Signalamplitude: 0,52 ± 0,31 cm Werkzeugfehler und 4 von 5 Aufgaben erledigt; bei 8 % Rauschen gelang keine Aufgabe (1,13 ± 0,33 cm Werkzeugfehler)
Innensechskantschlüssel, Sperrklinke und Zahnrad als Werkzeuge ergaben in der Simulation Translationsfehler von 0,31, 0,33 und 0,49 cm (je 10 Versuche)
Reale Hardware, Schraubenschlüssel-Werkzeug, 4 Aktionen: 5 von 5 Aufgabenversuchen gelangen (3,5 mm Toleranz pro Seite mit einem Zylinder als Ziel)

Einschränkungen

Die Autoren nennen die Aktionsauswahl als künftige Arbeit: Die Stöße wurden von Hand gewählt, und eine fundiertere Auswahl ist nötig, um die Zahl der Aktionen zu verringern
Die Methode setzt starre Objekte mit bekannten Geometriemodellen voraus, Punktkontakte, die kein Moment übertragen, und kein relatives Rutschen während der Stöße
Propriozeptionsrauschen wird nicht modelliert; die Autoren fanden die beiden realen Arme schwer gegeneinander zu kalibrieren (3–7 mm RMS nach der Kalibrierung)
Die Genauigkeit sinkt mit Kraft-Momenten-Rauschen: Bei 8 % Rauschen gelang keine aufgabenbasierte Demonstration
Posen werden in SE(2) geschätzt, weil die Parallelbackengreifer sie einschränken, und der Test in der realen Welt nutzte ein Werkzeug und einen Zylinder statt eines Schraubenkopfs

Wirkung auf das Fachgebiet

Finalist für den RSS 2023 Best Student Paper Award, mit 14 Zitationen. Das Paper verweist für Code und Videos auf www.mmintlab.com/multiscope/; diese Seite verlinkt das Code-Repository.

Zusammenfassung

In diesem Paper schlagen wir eine Methode zur Schätzung von Objektposen in der Hand vor, die Propriozeption und taktiles Feedback eines zweiarmigen Robotersystems nutzt. Unsere Methode behandelt das Problem, die Posenunsicherheit durch eine Folge reibungsbehafteter Kontaktinteraktionen zwischen den gegriffenen Objekten zu verringern. Als Teil unserer Methode schlagen wir 1) eine Routine zur Werkzeugsegmentierung vor, die die Schätzung von Kontaktort und Objektpose erleichtert, 2) eine Verlustfunktion, die das Schließen über die Konsistenz der Lösungen zwischen Interaktionen ermöglicht, und 3) eine Verlustfunktion, die die Konvergenz zu Objektposen und Kontaktorten fördert, welche die von jedem Arm erfahrene äußere Kraft und das äußere Moment erklären. Wir zeigen die Wirksamkeit unserer Methode in einer aufgabenbasierten Demonstration sowohl in der Simulation als auch auf einer realen zweiarmigen Plattform und belegen eine deutliche Verbesserung der Objektposenschätzung gegenüber einzelnen Interaktionen. Code und Videos unter www.mmintlab.com/multiscope/.

Open Source Robotics