Reactive Human-To-Robot Handovers of Arbitrary Objects

Autoren: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Die Hand segmentieren, den Rest greifen: Ein visionbasiertes System lässt einen Franka Panda 26 verschiedene Haushaltsgegenstände von Menschen entgegennehmen und neu planen, wenn sich das Objekt bewegt.

Warum es wichtig ist

Das Objekt muss nicht zu den Kategorien eines vortrainierten Detektors gehören, was die Autoren als Hauptengpass der nächstverwandten Vorarbeit nennen. Der geschlossene Regelkreis lässt den Roboter einem Objekt folgen, das die Person dreht, nachdem der Roboter sich in Bewegung gesetzt hat, die Ursache der meisten in jener Vorarbeit berichteten Fehlschläge.

Problem

Assistenzroboter müssen viele Arten von Objekten von Menschen entgegennehmen, doch die meisten Übergabestudien verwendeten ein einziges Objekt, und nur ein untersuchtes Paper verwendete mehr als sechs. Ein Objekt aus einer Hand zu nehmen unterscheidet sich vom Greifen eines statischen Objekts: Das Objekt kann sich bewegen, ist teilweise von Fingern verdeckt, schränkt die Annäherungsrichtungen ein, und die Bewegung des Roboters muss sich sicher anfühlen.

Lösungsansatz

Das System schneidet die Punktwolke um die mit dem Azure Kinect Body Tracking SDK verfolgte Hand aus, segmentiert die Hand im RGB-Bild mit einem Feature Pyramid Network auf ResNet-50, das auf automatisch erzeugten Masken trainiert ist, und labelt die übrigen Punkte als Objekt. 6-DOF GraspNet schlägt Griffe vor, die von Frame zu Frame durch Metropolis-Hastings-Sampling mit seinem Griffbewerter verfeinert werden, mit der Hand kollidierende Griffe werden entfernt, und ein Aufgabenmodell aus Robust Logical Dynamical Systems mit Riemannian Motion Policies wählt Annäherungsposen aus und führt sie aus.

Wichtigste Erkenntnisse

Die Hand zu segmentieren, eine klar definierte Aufgabe, und die übrigen ausgeschnittenen Punkte als Objekt zu labeln, erspart die direkte Segmentierung ungesehener Objekte.
Trainingsmasken für die Hand lassen sich ohne menschliche Annotatoren erzeugen, indem die verfolgte bloße Hand aus der Punktwolke ausgeschnitten und ins Bild projiziert wird.
Die Griffe des vorherigen Frames mit dem Griffbewerter zu verfeinern, hält die Griffe über die Zeit konsistent, ohne GraspNet neu zu trainieren; Griffe werden neu gesampelt, wenn bei schneller Handbewegung zu wenige übrig bleiben.
Annäherungsposen nach ihrem Abstand zum bisher besten Griff und zur Ausgangspose zu bewerten, hält die Bewegung glatt, während der Roboter der Person folgt.
Jeden Griff um 180° um seine Z-Achse zu drehen, verdoppelt den Kandidatenpool für einen Zweifingergreifer.

Hauptergebnisse

Das Handsegmentierungsmodell erreicht auf einem auf dieselbe Weise gesammelten Validierungsset 99,7 % Pixelgenauigkeit, 99,5 % frequenzgewichtete IoU und 68,0 % mittlere IoU.
Systematischer Test mit einer Banane, einer Spielzeug-Mayonnaiseflasche und einer Spielzeug-Müslischachtel, flach, in 45° und in 90° gehalten: insgesamt 11,39 ± 4,29 s pro Übergabe und 90 % Erfolg; Banane 100 %, Flasche 90 %, Müslischachtel 82 %.
Objekt gedreht, nachdem der Roboter sich in Bewegung gesetzt hat: 0–45° ergab 100 % Erfolg in 11,81 ± 3,93 s; 0–90° ergab 69 % in 15,41 ± 7,39 s.
Nutzerstudie mit 6 Teilnehmenden, die 10 Objekte übergaben: durchschnittliche Annäherungszeit 10,7 ± 3,6 s, 1,3 ± 0,3 Versuche und 81,8 % Erfolgsquote; Stift (50,0 %), Becher (54,5 %) und Löffel (66,7 %) lagen am niedrigsten.
Der Text (Sections V-A, V-B und VI-B) sagt, dass jedes Objekt am Ende entgegengenommen wurde, im systematischen Test innerhalb von drei oder weniger Versuchen, während Tables I und II für mehrere Objekte Erfolgsquoten unter 100 % angeben.
Die Fragebogenbewertungen lagen in jeder Dimension bei etwa 4 oder darüber, mit geringer Varianz zwischen den Teilnehmenden.

Einschränkungen

Fehlschläge rührten von fehlender Tiefe auf dunklen Oberflächen her, von der Segmentierung, die das Objekt als Hand labelte, und von Rauschen in der ausgeschnittenen Punktwolke durch nahe Objekte (laut den Autoren).
Der Rechenaufwand der inversen Kinematik begrenzt, wie schnell der Roboter seinen Zielgriff aktualisieren kann; Teilnehmende wünschten sich schnellere, flüssigere Bewegungen (laut den Autoren).
Die Nutzerstudie hatte sechs Teilnehmende, die wegen pandemiebedingter Sicherheitsprotokolle alle aus dem Labor rekrutiert wurden (laut den Autoren).
Die Person muss das Objekt so halten, dass es für den Roboter greifbar bleibt.
Die systematische Evaluation verwendete einen Nutzer und drei Objekte, wobei die Übergaben wiederholt wurden, bis der Roboter dreimal erfolgreich war.

Wirkung auf das Fachgebiet

Die Arbeit gewann den IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) und hat 99 Zitierungen. Das Paper verlinkt eine Projektseite mit weiteren Ergebnissen und Videos; eine Veröffentlichung von Code oder Datensatz wird nicht angegeben.

Zusammenfassung

Objektübergaben zwischen Mensch und Roboter sind in der Robotik im vergangenen Jahrzehnt ein aktiv erforschtes Gebiet gewesen; jedoch haben sich nur sehr wenige Techniken und Systeme der Herausforderung gewidmet, vielfältige Objekte mit beliebigem Aussehen, beliebiger Größe, Form und Steifigkeit zu übergeben. In diesem Beitrag stellen wir ein visionbasiertes System vor, das reaktive Übergaben unbekannter Objekte vom Menschen an den Roboter ermöglicht. Unser Ansatz kombiniert Bewegungsplanung im geschlossenen Regelkreis mit zeitlich konsistenter Greiferzeugung in Echtzeit, um Reaktivität und Bewegungsglätte sicherzustellen. Unser System ist robust gegenüber unterschiedlichen Objektpositionen und -orientierungen und kann sowohl starre als auch nicht starre Objekte greifen. Wir zeigen die Generalisierbarkeit, Benutzbarkeit und Robustheit unseres Ansatzes an einem neuen Benchmark-Set aus 26 vielfältigen Haushaltsgegenständen, einer Nutzerstudie mit unerfahrenen Nutzern (N=6), die eine Teilmenge von 15 Objekten übergaben, und einer systematischen Evaluation verschiedener Arten, Objekte zu übergeben. Weitere Ergebnisse und Videos finden sich unter https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects.

Open Source Robotics