Interactive Perception

• Catégorie: Planning & manipulation › Manipulation
• Mots-clés: manipulation, perception, active-sensing, partial-observability, exploration

Une perception dans laquelle un robot agit délibérément sur son environnement, en poussant, tirant ou déplaçant des objets, pour révéler des informations que l'observation passive ne peut pas fournir.

Définition

Perception interactive (interactive perception) : approche qui traite l'interaction physique comme une partie de la perception. Plutôt que d'essayer de tout déduire d'une vue statique, le robot effectue des actions qui modifient la scène et en observe le résultat : pousser un tas pour séparer des objets qui se touchent, tirer un tiroir pour savoir comment il bouge, soulever une boîte pour estimer son poids, ou tapoter une surface pour entendre de quoi elle est faite. Les changements provoqués par une action connue portent de l'information sur des propriétés qu'une seule image cache, comme les contours des objets, la masse, le frottement et l'articulation.

L'idée s'appuie sur la perception active (active perception), dans laquelle un robot choisit où orienter ou déplacer ses capteurs, mais va plus loin en modifiant le monde lui-même. Une revue de 2017 de Jeannette Bohg et de ses collègues l'a présentée comme l'exploitation des régularités entre les actions d'un robot et les signaux sensoriels qu'elles produisent. Formellement, le robot fait face à un problème partiellement observé : l'état qui l'intéresse est latent, et les actions doivent être choisies pour réduire l'incertitude sur cet état tout en faisant progresser la tâche. Cela relie la perception interactive aux POMDP, à l'estimation d'état bayésienne et aux planificateurs de collecte d'informations.

Les usages vont de la segmentation et de l'estimation d'articulation à l'évaluation de la réussite d'une tâche. Un robot peut par exemple tirer sur une porte pour vérifier qu'elle est verrouillée, ou secouer un récipient pour juger s'il est vide, lorsque la réponse n'est pas visible. Les coûts sont le temps et le risque : chaque action exploratoire demande un effort et peut perturber ou endommager la scène, si bien qu'un système doit décider quand l'information vaut l'interaction.

Pourquoi c'est important

De nombreuses propriétés importantes pour la manipulation, comme le fait que deux objets soient attachés, la façon dont un couvercle s'ouvre ou le poids d'un objet, ne peuvent pas se lire sur une image. La perception interactive donne aux robots un moyen systématique de les découvrir, ce qui rend la manipulation plus fiable dans des environnements encombrés et inconnus.

Applications principales

• Estimation de l'articulation des portes, des tiroirs et des couvercles
• Segmentation de scènes encombrées en écartant les objets par poussée
• Estimation de la masse, du frottement et d'autres propriétés physiques
• Vérification de la réussite d'une tâche quand le résultat n'est pas visible
• Exploration haptique de la forme des objets

En pratique

On demande à un robot d'ouvrir des placards inconnus dans une cuisine. Pour chaque poignée, il saisit et exerce une petite traction exploratoire tout en enregistrant le mouvement de la pince et la force au poignet. Si la poignée se déplace en ligne droite, il ajuste une articulation prismatique ; si elle suit un arc, il ajuste une articulation rotoïde et estime l'axe de la charnière. Le modèle estimé guide ensuite un mouvement d'ouverture complet sous commande compliante, et l'estimation est affinée à mesure que le mouvement se poursuit. Si la poignée ne bouge pas sous une limite de force sûre, le robot enregistre le placard comme verrouillé ou coincé plutôt que de tirer plus fort.

Idées reçues

• La perception interactive est la même chose que la perception active — la perception active déplace le capteur, tandis que la perception interactive modifie l'environnement par contact physique
• Les actions exploratoires sont du temps perdu — une brève interaction peut lever une incertitude qui causerait sinon une saisie ratée ou un mauvais jugement de réussite
• Elle nécessite des capteurs tactiles — la vision, la mesure d'effort, les codeurs articulaires et le son peuvent tous observer les effets d'une action

Qui devrait le savoir

• Chercheurs en manipulation
• Ingénieurs qui construisent des robots domestiques et de service
• Chercheurs en perception travaillant sur les objets articulés et déformables
• Chercheurs en apprentissage actif et en collecte d'informations

Technologies associées

• Perception active (Active Perception)
• Estimation d'articulation (Articulation Estimation)
• Filtrage bayésien (Bayesian Filtering)
• Mesure d'effort (Force-Torque Sensing)
• Détection tactile (Tactile Sensing)

Termes associés

• Articulated object
• Robotic information gathering
• Partially Observable Markov Decision Process (POMDP)
• Force/Torque Sensor
• Tactile Sensor
• Affordance

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation