Interactive Perception

Kategorie: Planning & manipulation › Manipulation
Schlagwörter: manipulation, perception, active-sensing, partial-observability, exploration

Wahrnehmung, bei der ein Roboter gezielt auf seine Umgebung einwirkt, indem er Objekte schiebt, zieht oder bewegt, um Information zu gewinnen, die passive Beobachtung nicht liefern kann.

Definition

Interaktive Wahrnehmung (interactive perception) behandelt physische Interaktion als Teil der Sensorik. Statt zu versuchen, alles aus einer statischen Ansicht zu erschließen, führt der Roboter Aktionen aus, die die Szene verändern, und beobachtet das Ergebnis: einen Haufen schieben, um sich berührende Objekte zu trennen, an einer Schublade ziehen, um herauszufinden, wie sie sich bewegt, eine Kiste anheben, um ihr Gewicht zu schätzen, oder auf eine Oberfläche klopfen, um zu hören, woraus sie besteht. Die durch eine bekannte Aktion verursachten Veränderungen tragen Information über Eigenschaften, die ein einzelnes Bild verbirgt, etwa Objektgrenzen, Masse, Reibung und Gelenkstruktur.

Die Idee baut auf der aktiven Wahrnehmung (active perception) auf, bei der ein Roboter wählt, wohin er seine Sensoren richtet oder bewegt, geht aber weiter, indem sie die Welt selbst verändert. Ein Übersichtsartikel von Jeannette Bohg und Kollegen aus dem Jahr 2017 fasste sie als Ausnutzung der Regelmäßigkeiten zwischen den Aktionen eines Roboters und den Sensorsignalen, die sie erzeugen. Formal steht der Roboter vor einem teilweise beobachteten Problem: Der Zustand, der ihn interessiert, ist latent, und Aktionen sollten so gewählt werden, dass sie die Unsicherheit über diesen Zustand verringern und zugleich die Aufgabe voranbringen. Das verbindet interaktive Wahrnehmung mit POMDPs, bayesscher Zustandsschätzung und Planern für Information Gathering.

Die Anwendungen reichen von Segmentierung und Schätzung der Gelenkstruktur bis zur Beurteilung, ob eine Aufgabe gelungen ist. Ein Roboter kann zum Beispiel an einer Tür ziehen, um zu prüfen, ob sie eingerastet ist, oder einen Behälter schütteln, um zu beurteilen, ob er leer ist, wenn die Antwort nicht sichtbar ist. Die Kosten sind Zeit und Risiko: Jede erkundende Aktion kostet Aufwand und kann die Szene stören oder beschädigen, daher muss ein System entscheiden, wann die Information die Interaktion wert ist.

Warum es wichtig ist

Viele für die Manipulation wichtige Eigenschaften, etwa ob zwei Objekte verbunden sind, wie sich ein Deckel öffnet oder wie schwer etwas ist, lassen sich nicht aus einem Bild ablesen. Interaktive Wahrnehmung gibt Robotern einen systematischen Weg, das herauszufinden, und macht Manipulation in vollgestellten und unbekannten Umgebungen zuverlässiger.

Wichtige Anwendungen

Schätzung der Gelenkstruktur von Türen, Schubladen und Deckeln
Segmentierung vollgestellter Szenen durch Auseinanderschieben von Objekten
Schätzung von Masse, Reibung und anderen physikalischen Eigenschaften
Prüfen des Aufgabenerfolgs, wenn das Ergebnis nicht sichtbar ist
Haptische Erkundung der Objektform

In der Praxis

Ein Roboter soll in einer Küche unbekannte Schränke öffnen. An jedem Griff greift er zu und übt einen kleinen erkundenden Zug aus, während er die Bewegung des Greifers und die Kraft am Handgelenk aufzeichnet. Bewegt sich der Griff entlang einer Geraden, passt er ein Schubgelenk an; bewegt er sich entlang eines Bogens, passt er ein Drehgelenk an und schätzt die Scharnierachse. Das geschätzte Modell führt dann eine vollständige Öffnungsbewegung unter nachgiebiger Regelung, und die Schätzung wird im Verlauf der Bewegung verfeinert. Bewegt sich der Griff unterhalb einer sicheren Kraftgrenze nicht, vermerkt der Roboter den Schrank als verschlossen oder verklemmt, statt fester zu ziehen.

Häufige Missverständnisse

Interaktive Wahrnehmung ist dasselbe wie aktive Wahrnehmung — aktive Wahrnehmung bewegt den Sensor, während interaktive Wahrnehmung die Umgebung durch physischen Kontakt verändert
Erkundende Aktionen sind verschwendete Zeit — eine kurze Interaktion kann Unsicherheit beseitigen, die sonst zu einem fehlgeschlagenen Griff oder einer falschen Erfolgsbeurteilung führen würde
Sie erfordert Tastsensoren — Vision, Kraft-Momenten-Sensorik, Gelenk-Drehgeber und Schall können alle die Wirkung einer Aktion beobachten

Wer das wissen sollte

Forschende in der Manipulation
Ingenieure, die Haushalts- und Serviceroboter bauen
Wahrnehmungsforschende, die an artikulierten und verformbaren Objekten arbeiten
Forschende in aktivem Lernen und Information Gathering

Open Source Robotics