Active Perception

Auch genannt: active vision
Kategorie: Sensing › Perception outputs
Schlagwörter: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

Steuerung, wie und wo ein Roboter misst, etwa durch Bewegen einer Kamera oder des Objekts selbst, sodass jede neue Messung die Unsicherheit über das verringert, was der Roboter wissen muss.

Definition

Aktive Wahrnehmung (active perception) behandelt Sensorik als etwas, das der Roboter steuert, statt es nur zu empfangen. Anstatt die gerade eintreffenden Bilder oder Scans zu verarbeiten, wählt ein aktiv wahrnehmender Roboter seinen Blickpunkt, seine Blickrichtung, Zoom, Fokus oder Sensoreinstellungen oder bewegt das Objekt vor dem Sensor, sodass die nächste Messung für seine Aufgabe so nützlich wie möglich ist. Ruzena Bajcsy formulierte die Idee 1988 in ihrem Aufsatz Active Perception und beschrieb sie als die Untersuchung von Modellierungs- und Steuerungsstrategien für die Wahrnehmung, und verwandte Arbeiten zum aktiven Sehen von Aloimonos und Kollegen zeigten, dass manche Bildverarbeitungsprobleme, die für einen passiven Beobachter schlecht gestellt sind, gut gestellt werden, wenn sich der Beobachter bewegen kann.

Die meisten modernen Formulierungen schließen den Kreis über die Unsicherheit. Der Roboter führt einen Belief über die interessierende Größe, etwa die Form, Pose oder Klasse eines Objekts oder eine Karte, sagt voraus, wie jede mögliche Sensoraktion diesen Belief verändern würde, und wählt die Aktion mit dem besten erwarteten Gewinn, oft gemessen als Verringerung der Entropie oder Varianz und gegen die Bewegungskosten abgewogen. Next-Best-View-Planung für die 3D-Rekonstruktion, Blicksteuerung für das Tracking und Ansichtsauswahl für die Objekterkennung folgen alle diesem Muster. Erstreckt sich die Entscheidung über mehrere Schritte, ist das Problem naturgemäß ein POMDP, das mit Belief-Space-Planern oder Baumsuche gelöst wird; in der Praxis verwenden viele Systeme eine gierige Einschrittwahl oder eine feste Scanbewegung, etwa das Drehen eines Objekts vor einer Kamera.

Aktive Wahrnehmung ist eng verwandt mit interaktiver Wahrnehmung, doch die beiden sind nicht dasselbe. Aktive Wahrnehmung verändert die Beziehung des Sensors zur Szene, indem sie den Sensor bewegt oder das Objekt anders präsentiert, ohne die Szene selbst verändern zu müssen. Interaktive Wahrnehmung stellt gezielt physischen Kontakt her, um Eigenschaften offenzulegen, die sich sonst nicht sehen lassen, etwa indem ein Objekt geschoben wird, um es aus einem Haufen zu lösen, oder eine Schublade gezogen wird, um ihr Gelenk zu finden. Robotic Information Gathering wendet dieselben Prinzipien auf große Räume an, etwa bei der Planung des Pfads einer Drohne zur Kartierung eines Feldes.

Warum es wichtig ist

Eine einzelne Ansicht einer Szene ist meist unvollständig: Objekte verdecken sich selbst und gegenseitig, und manche Eigenschaften sind nur aus bestimmten Winkeln sichtbar. Wenn ein Roboter wählt, wohin er schaut, kann er Objekte mit weniger Messungen und in kürzerer Zeit rekonstruieren, erkennen oder lokalisieren, was für das Greifen unbekannter Objekte, die Inspektion und die Exploration wichtig ist.

Wichtige Anwendungen

Next-Best-View-Planung für 3D-Rekonstruktion und Inspektion
Objekterkennung und Posenschätzung aus gewählten Blickpunkten
Blick- und Kamerasteuerung bei Humanoiden und mobilen Robotern
Scannen eines Objekts in der Hand vor dem Umgreifen
Exploration und Kartierung mit Drohnen und Bodenrobotern

In der Praxis

Ein Roboterarm mit Handgelenkkamera braucht ein vollständiges 3D-Modell eines unbekannten Objekts, bevor er einen präzisen Griff planen kann. Nachdem er das Objekt locker gegriffen hat, hält der Roboter es vor eine feststehende Tiefenkamera und dreht es um die vertikale Achse, wobei er die Tiefenbilder zu einem volumetrischen Modell fusioniert. Wo das Modell noch unsicher ist, zum Beispiel an der vom Greifer verdeckten Unterseite, bewertet das System eine Handvoll Kandidatenposen danach, wie viele unbekannte Voxel jede offenlegen würde, und fährt die beste an. Es hört auf, wenn der erwartete Gewinn unter einen Schwellwert fällt, und greift das Objekt dann mithilfe des vervollständigten Modells um.

Häufige Missverständnisse

Aktive Wahrnehmung bedeutet den Einsatz aktiver Sensoren wie LiDAR oder strukturiertem Licht — „aktiv“ bezieht sich auf die Steuerung des Messvorgangs, was ebenso für passive Kameras gilt
Aktive Wahrnehmung und interaktive Wahrnehmung sind dasselbe — aktive Wahrnehmung verändert den Blickpunkt oder die Sensorparameter, während interaktive Wahrnehmung die Szene physisch manipuliert, um Informationen offenzulegen
Sie erfordert immer eine optimale mehrstufige Planung — viele wirksame Systeme verwenden gierige Next-Best-View-Entscheidungen oder feste Scanbewegungen; vollständige POMDP-Planung kommt zum Einsatz, wenn sich der zusätzliche Aufwand lohnt

Wer das wissen sollte

Wahrnehmungsingenieure, die an 3D-Rekonstruktion arbeiten
Manipulationsforschende, die mit unbekannten Objekten umgehen
Entwickler für autonome Exploration und Inspektion
Forschende in Belief-Space- und informationsgetriebener Planung

Open Source Robotics