Active Perception

También llamado: active vision
Categoría: Sensing › Perception outputs
Etiquetas: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

Controlar cómo y dónde detecta un robot, por ejemplo moviendo una cámara o el propio objeto, para que cada nueva medición reduzca la incertidumbre sobre lo que el robot necesita saber.

Definición

Percepción activa (active perception) trata la detección sensorial como algo que el robot controla en lugar de recibir. En vez de procesar las imágenes o los escaneos que lleguen, un robot con percepción activa elige su punto de vista, la dirección de la mirada, el zoom, el enfoque o los ajustes del sensor, o mueve el objeto delante del sensor, para que la siguiente medición sea lo más útil posible para su tarea. Ruzena Bajcsy planteó la idea en su artículo de 1988 Active Perception, en el que la describió como el estudio de estrategias de modelado y de control para la percepción, y trabajos relacionados sobre visión activa de Aloimonos y sus colaboradores mostraron que algunos problemas de visión que están mal planteados para un observador pasivo pasan a estar bien planteados cuando el observador puede moverse.

La mayoría de las formulaciones modernas cierran el lazo a través de la incertidumbre. El robot mantiene una creencia sobre la magnitud de interés, como la forma de un objeto, su pose, su clase o un mapa, predice cómo cambiaría esa creencia cada posible acción de detección y elige la acción con la mejor ganancia esperada, a menudo medida como reducción de la entropía o de la varianza, sopesada frente al coste del movimiento. La planificación de la siguiente mejor vista (next-best-view planning) para la reconstrucción 3D, el control de la mirada para el seguimiento y la selección de vistas para el reconocimiento de objetos siguen este patrón. Cuando la decisión abarca varios pasos, el problema es por naturaleza un POMDP, que se resuelve con planificadores en el espacio de creencias o con búsqueda en árbol; en la práctica, muchos sistemas usan una elección voraz de un solo paso o un movimiento de escaneo fijo, como girar un objeto delante de una cámara.

La percepción activa está estrechamente relacionada con la percepción interactiva, pero no son lo mismo. La percepción activa cambia la relación del sensor con la escena, moviendo el sensor o presentando el objeto de otra manera, sin necesidad de modificar la propia escena. La percepción interactiva establece deliberadamente un contacto físico para revelar propiedades que no pueden verse de otro modo, como empujar un objeto para separarlo del desorden o tirar de un cajón para encontrar su articulación. La recopilación robótica de información aplica los mismos principios en espacios grandes, como planificar la trayectoria de un dron para cartografiar un campo.

Por qué importa

Una sola vista de una escena suele estar incompleta: los objetos se ocultan a sí mismos y entre sí, y algunas propiedades solo son visibles desde ciertos ángulos. Elegir dónde mirar permite a un robot reconstruir, reconocer o localizar objetos con menos mediciones y en menos tiempo, lo que importa para agarrar objetos desconocidos, para la inspección y para la exploración.

Aplicaciones clave

Planificación de la siguiente mejor vista para reconstrucción 3D e inspección
Reconocimiento de objetos y estimación de pose desde puntos de vista elegidos
Control de la mirada y de la cámara en humanoides y robots móviles
Escaneo de objetos en la mano antes de volver a agarrarlos
Exploración y cartografía con drones y robots terrestres

En la práctica

Un brazo robótico con una cámara de muñeca necesita un modelo 3D completo de un objeto desconocido antes de planificar un agarre preciso. Tras agarrarlo sin apretar, el robot lo sostiene delante de una cámara de profundidad fija y lo gira alrededor del eje vertical, fusionando las imágenes de profundidad en un modelo volumétrico. Donde el modelo sigue siendo incierto, por ejemplo en la parte inferior oculta por la pinza, el sistema evalúa un puñado de poses candidatas según cuántos vóxeles desconocidos revelaría cada una y se mueve a la mejor. Se detiene cuando la ganancia esperada cae por debajo de un umbral y entonces vuelve a agarrar el objeto usando el modelo completado.

Ideas erróneas comunes

Percepción activa significa usar sensores activos como LiDAR o luz estructurada — 'activa' se refiere a controlar el proceso de detección, lo que se aplica igualmente a las cámaras pasivas
La percepción activa y la percepción interactiva son lo mismo — la percepción activa cambia el punto de vista o los parámetros del sensor, mientras que la percepción interactiva manipula físicamente la escena para revelar información
Siempre requiere una planificación óptima de varios pasos — muchos sistemas eficaces usan elecciones voraces de la siguiente mejor vista o movimientos de escaneo fijos; la planificación POMDP completa se usa cuando el coste adicional compensa

Quién debería saberlo

Ingenieros de percepción que trabajan en reconstrucción 3D
Investigadores en manipulación que trabajan con objetos desconocidos
Desarrolladores de exploración autónoma e inspección
Investigadores en planificación en el espacio de creencias y guiada por la información

Tecnologías relacionadas

Planificación de la siguiente mejor vista (Next-Best-View Planning)
Cartografía volumétrica (TSDF, OctoMap)
Unidades Pan-Tilt
Planificación basada en teoría de la información (Information-Theoretic Planning)
Solucionadores de POMDP

Términos relacionados

Proyectos relacionados

LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
PCL: Industry-standard C++ library for point cloud processing in robotics perception
OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action