Interactive Perception

• Categoría: Planning & manipulation › Manipulation
• Etiquetas: manipulation, perception, active-sensing, partial-observability, exploration

Percepción en la que un robot actúa deliberadamente sobre su entorno, empujando, tirando o moviendo objetos, para revelar información que la observación pasiva no puede proporcionar.

Definición

Percepción interactiva (interactive perception) trata la interacción física como parte de la percepción. En lugar de intentar inferirlo todo a partir de una vista estática, el robot realiza acciones que cambian la escena y observa el resultado: empujar un montón para separar objetos que se tocan, tirar de un cajón para ver cómo se mueve, levantar una caja para estimar su peso o golpear suavemente una superficie para oír de qué está hecha. Los cambios causados por una acción conocida aportan información sobre propiedades que una sola imagen oculta, como los límites de los objetos, la masa, la fricción y la articulación.

La idea se basa en la percepción activa, en la que un robot elige hacia dónde apuntar o mover sus sensores, pero va más allá al cambiar el propio mundo. Una revisión de 2017 de Jeannette Bohg y colaboradores la planteó como el aprovechamiento de las regularidades entre las acciones de un robot y las señales sensoriales que producen. Formalmente, el robot se enfrenta a un problema parcialmente observado: el estado que le interesa está latente, y las acciones deben elegirse para reducir la incertidumbre sobre ese estado además de avanzar en la tarea. Esto vincula la percepción interactiva con los POMDP, la estimación bayesiana del estado y los planificadores de recopilación de información.

Los usos van desde la segmentación y la estimación de la articulación hasta juzgar si una tarea tuvo éxito. Un robot puede, por ejemplo, dar un tirón a una puerta para comprobar que está cerrada con el pestillo, o agitar un recipiente para juzgar si está vacío, cuando la respuesta no es visible. Los costes son tiempo y riesgo: cada acción exploratoria requiere esfuerzo y puede alterar o dañar la escena, así que un sistema tiene que decidir cuándo la información compensa la interacción.

Por qué importa

Muchas propiedades que importan para la manipulación, como si dos objetos están unidos, cómo se abre una tapa o cuánto pesa algo, no pueden leerse en una imagen. La percepción interactiva da a los robots una forma sistemática de averiguarlas, lo que hace la manipulación más fiable en entornos abarrotados y desconocidos.

Aplicaciones clave

• Estimación de la articulación de puertas, cajones y tapas
• Segmentación de escenas abarrotadas separando objetos a empujones
• Estimación de la masa, la fricción y otras propiedades físicas
• Comprobación del éxito de una tarea cuando el resultado no es visible
• Exploración háptica de la forma de los objetos

En la práctica

A un robot se le pide abrir armarios desconocidos en una cocina. Para cada manija, la agarra y aplica un pequeño tirón exploratorio mientras registra el movimiento de la pinza y la fuerza en la muñeca. Si la manija se mueve en línea recta, ajusta una articulación prismática; si se mueve a lo largo de un arco, ajusta una articulación de revolución y estima el eje de la bisagra. El modelo estimado guía después un movimiento de apertura completo bajo control complaciente, y la estimación se refina a medida que continúa el movimiento. Si la manija no se mueve por debajo de un límite de fuerza seguro, el robot registra el armario como cerrado con llave o atascado en lugar de tirar con más fuerza.

Ideas erróneas comunes

• La percepción interactiva es lo mismo que la percepción activa — la percepción activa mueve el sensor, mientras que la percepción interactiva cambia el entorno mediante contacto físico
• Las acciones exploratorias son tiempo perdido — una interacción breve puede eliminar una incertidumbre que de otro modo provocaría un agarre fallido o un juicio de éxito erróneo
• Requiere sensores táctiles — la visión, el sensado de fuerza-par, los encoders articulares y el sonido pueden observar los efectos de una acción

Quién debería saberlo

• Investigadores en manipulación
• Ingenieros que construyen robots domésticos y de servicio
• Investigadores en percepción que trabajan con objetos articulados y deformables
• Investigadores en aprendizaje activo y recopilación de información

Tecnologías relacionadas

• Percepción activa (Active Perception)
• Estimación de la articulación (Articulation Estimation)
• Filtrado bayesiano (Bayesian Filtering)
• Sensado de fuerza-par (Force-Torque Sensing)
• Sensado táctil (Tactile Sensing)

Términos relacionados

• Articulated object
• Robotic information gathering
• Partially Observable Markov Decision Process (POMDP)
• Force/Torque Sensor
• Tactile Sensor
• Affordance

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation