Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

Autoren: Andrei Haidu, Michael Beetz · ICRA 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Menschen erledigen Küchenaufgaben in einer physikalisch simulierten VR-Welt; Online-Monitore zerlegen ihre Handlungen in die Ereignisse Hinlangen, Greifen, Transport und Absetzen, die in KnowRob gespeichert und für Roboter abfragbar sind.

Warum es wichtig ist

Die Demonstrationen liegen bereits segmentiert und in einer Ontologie annotiert vor, die der Roboter teilt, einschließlich der virtuellen Körperteile, sodass kein manuelles Labeln nötig ist. Episoden lassen sich nach Aktionstyp, Objekttyp und Teil-Ganzes-Beziehungen wiedergeben und abfragen, zum Beispiel alle Greifvorgänge an Griffen, die zu einer Kühlschranktür gehören.

Problem

Roboter, die Manipulation lernen, benötigen oft mehr Erfahrung, als mit vertretbarem Aufwand bereitgestellt werden kann, daher sollte jede Demonstration mehr strukturierte Information tragen. Das frühere AMEvA-System der Autoren verfolgte nur Kopf und Hände, ließ Nutzer Stellen erreichen, die in der Realität unerreichbar wären, konnte keine anderen Körperteile wie Ellbogen oder Füße nutzen und lieferte grobe Aktionsrepräsentationen.

Lösungsansatz

Die Nutzer handeln in einer mit NVIDIA PhysX simulierten Unreal-Engine-4-Umgebung mit Ganzkörper- und Blickverfolgung; die Hände werden von 3D-PID-Reglern angesteuert, sodass schwere Objekte zurückziehen oder abrutschen, und Griffe entstehen aus der Physik mithilfe vordefinierter Griffarten. Ein subsymbolischer Logger speichert Weltzustände und Blick pro Frame in MongoDB, während Online-Monitore mit Kontaktsensor-Arrays an der Hand und Grammatiken Griff-, Kontakt-, Supported-by- und Pick-and-Place-Teilbewegungen als OWL-Ereignisse in KnowRob aufzeichnen.

Wichtigste Erkenntnisse

Werden die virtuellen Hände über PID-Regler statt über eine direkte Abbildung angesteuert, spielt das Objektgewicht eine Rolle, was zu Strategien aus der realen Welt anregt, etwa dem Anheben mit beiden Händen.
Kontaktsensor-Arrays an Fingern, Daumen und Handfläche unterscheiden einen echten Griff von bloßem Kontakt: Ein Griff erfordert Kontakt von mindestens zwei verschiedenen Sensorgruppen.
Bewegungsphasen ohne klare Anfangs- oder Endmerkmale (Beginn des Hinlangens, Ende des Aufnehmens, Beginn des Absetzens) lassen sich mit Regions of Interest und Rückverfolgung über zwischengespeicherte Objektbewegungen eingrenzen.
Supported-by wird als Kontakt mit nahezu null relativer vertikaler Geschwindigkeit erkannt, sodass ein auf einem Tablett getragenes Objekt weiterhin als davon gestützt gilt.
Ereignismonitore folgen dem Sleep-Zustand der Physik-Engine und schalten sich für ruhende Objekte ab, was laut den Autoren das System in Echtzeit auf Tausende von Objekten skalieren lässt.

Hauptergebnisse

Das Paper berichtet keine quantitative Evaluation von Genauigkeit oder Zeitverhalten; seine Ergebnisse sind qualitative Demonstrationen und Beispielabfragen.
Ein gefüllter Teller, der mit einem einhändigen seitlichen Griff angehoben wird, dreht sich unter seinem Gewicht aus der Hand, während ein beidhändiger Griff ihn erfolgreich anhebt.
Pick-and-Place-Aktionen werden online in die Phasen Hinlangen, Fixieren, Schieben oder Aufnehmen, Transport und Absetzen segmentiert, dargestellt in Fig. 5 (a)–(j).
KnowRob-Abfragen finden und spielen Schiebeaktionen an einer Müslischachtel, Greifvorgänge an Griffen, die Teil einer Kühlschranktür sind, und aus Teilaktionen zusammengesetzte Pick-and-Place-Aktionen ab.
MongoDB-Collections pro Episode werden nach Ende der Episode als B-Bäume indiziert, was eine Suchzeit von O(log n) ergibt.

Einschränkungen

Die Ganzkörperverfolgung wirkt nur in eine Richtung: Der Avatar kann Objekte schieben, erhält aber keine Rückmeldung, sodass ein Nutzer durch Wände oder Möbel gehen und die Simulation destabilisieren kann (laut den Autoren).
Der Beginn des Hinlangens und das Ende des Aufnehmens haben keine ausgeprägten Merkmale und werden mit Regions of Interest angenähert (laut den Autoren).
Der Griffdetektor unterscheidet den Griffkontext nicht, etwa das Tragen eines Objekts gegenüber dem Halten eines Schubladengriffs oder unbeweglicher Möbel (laut den Autoren).
Der Blick wird aufgezeichnet, aber noch nicht zur Verfeinerung der Aktionserkennung genutzt, und der große öffentliche Datensatz ist noch künftige Arbeit (laut den Autoren).
Es werden weder ein Roboterexperiment noch eine quantitative Evaluation der Ereigniserkennung berichtet.

Wirkung auf das Fachgebiet

Die Arbeit war Finalist für den IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) und hat 11 Zitierungen. Das Paper gibt keine Veröffentlichung von Code oder Daten an; die Veröffentlichung eines großen Datensatzes über openEASE nennt es als künftige Arbeit.

Zusammenfassung

In diesem Beitrag stellen wir ein System vor, das von Menschen ausgeführte, für Roboter verständliche Alltagstätigkeiten aus virtuellen Umgebungen sammeln und annotieren kann. Die menschlichen Bewegungen werden mit handelsüblichen Virtual-Reality-Geräten mit Ganzkörper- und Eye-Tracking-Fähigkeiten in die simulierte Welt abgebildet. Alle Interaktionen in der virtuellen Welt werden physikalisch simuliert, sodass Bewegungen und ihre Auswirkungen eng auf die reale Welt beziehbar sind. Während der Ausführung der Tätigkeit zeichnet ein subsymbolischer Datenlogger die Umgebung und den menschlichen Blick Frame für Frame auf und ermöglicht so die Offline-Rekonstruktion und Wiedergabe der Szene. Gekoppelt mit der Physik-Engine parsen Online-Monitore (symbolische Datenlogger) (mithilfe verschiedener Grammatiken) Ereignisse, Aktionen und deren Auswirkungen in der simulierten Welt und zeichnen sie auf.

Open Source Robotics