Active Perception

• Aussi appelé: active vision
• Catégorie: Sensing › Perception outputs
• Mots-clés: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

Commander comment et où un robot mesure, par exemple en déplaçant une caméra ou l'objet lui-même, pour que chaque nouvelle mesure réduise l'incertitude sur ce que le robot doit savoir.

Définition

La perception active (active perception) traite la mesure comme quelque chose que le robot commande plutôt que subit. Au lieu de traiter les images ou les scans tels qu'ils arrivent, un robot qui perçoit activement choisit son point de vue, la direction de son regard, le zoom, la mise au point ou les réglages de ses capteurs, ou déplace l'objet devant le capteur, de sorte que la mesure suivante soit aussi utile que possible pour sa tâche. Ruzena Bajcsy a formulé l'idée dans son article de 1988 Active Perception, en la décrivant comme l'étude des stratégies de modélisation et de commande pour la perception, et des travaux voisins sur la vision active d'Aloimonos et de ses collègues ont montré que certains problèmes de vision mal posés pour un observateur passif deviennent bien posés lorsque l'observateur peut se déplacer.

La plupart des formulations modernes bouclent par l'incertitude. Le robot maintient une croyance sur la grandeur d'intérêt, comme la forme d'un objet, sa pose, sa classe ou une carte, prédit comment chaque action de mesure possible modifierait cette croyance et choisit l'action au meilleur gain attendu, souvent mesuré comme une réduction d'entropie ou de variance, mis en balance avec le coût du déplacement. La planification de la meilleure vue suivante (next-best-view planning) pour la reconstruction 3D, la commande du regard pour le suivi et la sélection de vues pour la reconnaissance d'objets suivent toutes ce schéma. Lorsque la décision s'étend sur plusieurs étapes, le problème est naturellement un POMDP, résolu par des planificateurs dans l'espace des croyances ou par recherche arborescente ; en pratique, de nombreux systèmes utilisent un choix glouton à une étape ou un mouvement de balayage fixe, comme faire tourner un objet devant une caméra.

La perception active est étroitement liée à la perception interactive, mais les deux ne sont pas identiques. La perception active modifie la relation du capteur à la scène, en déplaçant le capteur ou en présentant l'objet autrement, sans avoir besoin de modifier la scène elle-même. La perception interactive établit délibérément un contact physique pour révéler des propriétés qu'on ne peut pas voir autrement, par exemple en poussant un objet pour le séparer d'un amas ou en tirant un tiroir pour trouver son articulation. La collecte robotique d'informations applique les mêmes principes à de grands espaces, par exemple pour planifier la trajectoire d'un drone qui cartographie un champ.

Pourquoi c'est important

Une seule vue d'une scène est généralement incomplète : les objets s'occultent eux-mêmes et les uns les autres, et certaines propriétés ne sont visibles que sous certains angles. Choisir où regarder permet à un robot de reconstruire, de reconnaître ou de localiser des objets avec moins de mesures et en moins de temps, ce qui compte pour la saisie d'objets inconnus, l'inspection et l'exploration.

Applications principales

• Planification de la meilleure vue suivante pour la reconstruction 3D et l'inspection
• Reconnaissance d'objets et estimation de pose à partir de points de vue choisis
• Commande du regard et de la caméra sur des humanoïdes et des robots mobiles
• Balayage d'un objet en main avant de le ressaisir
• Exploration et cartographie avec des drones et des robots terrestres

En pratique

Un bras robotisé équipé d'une caméra au poignet a besoin d'un modèle 3D complet d'un objet inconnu avant de planifier une saisie précise. Après l'avoir saisi sans serrer, le robot le tient devant une caméra de profondeur fixe et le fait tourner autour de l'axe vertical, en fusionnant les images de profondeur dans un modèle volumétrique. Là où le modèle reste incertain, par exemple sur la face inférieure cachée par la pince, le système évalue une poignée de poses candidates selon le nombre de voxels inconnus que chacune révélerait et se place sur la meilleure. Il s'arrête lorsque le gain attendu passe sous un seuil, puis ressaisit l'objet à l'aide du modèle complété.

Idées reçues

• La perception active signifie utiliser des capteurs actifs comme le LiDAR ou la lumière structurée — « active » désigne la commande du processus de mesure, ce qui s'applique tout autant aux caméras passives
• La perception active et la perception interactive sont la même chose — la perception active modifie le point de vue ou les paramètres du capteur, tandis que la perception interactive manipule physiquement la scène pour révéler de l'information
• Elle exige toujours une planification optimale à plusieurs étapes — de nombreux systèmes efficaces utilisent des choix gloutons de meilleure vue suivante ou des mouvements de balayage fixes ; la planification POMDP complète est employée quand son coût supplémentaire est rentable

Qui devrait le savoir

• Ingénieurs en perception travaillant sur la reconstruction 3D
• Chercheurs en manipulation confrontés à des objets inconnus
• Développeurs en exploration et inspection autonomes
• Chercheurs en planification dans l'espace des croyances et en planification guidée par l'information

Technologies associées

• Planification de la meilleure vue suivante (Next-Best-View Planning)
• Cartographie volumétrique (TSDF, OctoMap)
• Tourelles panoramique-inclinaison (Pan-Tilt Units)
• Planification informationnelle (Information-Theoretic Planning)
• Solveurs de POMDP

Termes associés

• Interactive Perception
• Robotic information gathering
• Eye-in-Hand Camera
• Belief-Space Planning
• Frontier-Based Exploration
• Partially Observable Markov Decision Process (POMDP)

Projets associés

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action