Active Perception

• Também chamado: active vision
• Categoria: Sensing › Perception outputs
• Tags: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

Controlar como e onde um robô faz o sensoriamento, por exemplo movendo uma câmera ou o próprio objeto, para que cada nova medição reduza a incerteza sobre o que o robô precisa saber.

Definição

Percepção ativa (active perception) trata o sensoriamento como algo que o robô controla, e não algo que apenas recebe. Em vez de processar quaisquer imagens ou varreduras que cheguem, um robô com percepção ativa escolhe seu ponto de vista, a direção do olhar, o zoom, o foco ou as configurações do sensor, ou move o objeto diante do sensor, para que a próxima medição seja a mais útil possível para sua tarefa. Ruzena Bajcsy formulou a ideia em seu artigo de 1988 Active Perception, descrevendo-a como o estudo de estratégias de modelagem e de controle para a percepção, e trabalhos relacionados sobre visão ativa de Aloimonos e colegas mostraram que alguns problemas de visão mal-postos para um observador passivo se tornam bem-postos quando o observador pode se mover.

A maioria das formulações modernas fecha a malha por meio da incerteza. O robô mantém uma crença sobre a grandeza de interesse, como a forma de um objeto, sua pose, sua classe ou um mapa, prevê como cada ação de sensoriamento possível mudaria essa crença e escolhe a ação com o melhor ganho esperado, muitas vezes medido como redução de entropia ou de variância, ponderado contra o custo do movimento. O planejamento da próxima melhor vista (next-best-view planning) para reconstrução 3D, o controle do olhar para rastreamento e a seleção de vistas para reconhecimento de objetos seguem esse padrão. Quando a decisão abrange várias etapas, o problema é naturalmente um POMDP, resolvido com planejadores no espaço de crenças ou com busca em árvore; na prática, muitos sistemas usam uma escolha gulosa de uma etapa ou um movimento de varredura fixo, como girar um objeto diante de uma câmera.

A percepção ativa está intimamente ligada à percepção interativa, mas as duas não são a mesma coisa. A percepção ativa muda a relação do sensor com a cena, movendo o sensor ou apresentando o objeto de outra forma, sem precisar alterar a própria cena. A percepção interativa faz contato físico deliberadamente para revelar propriedades que não podem ser vistas de outra forma, como empurrar um objeto para separá-lo da desordem ou puxar uma gaveta para descobrir sua junta. A coleta robótica de informação aplica os mesmos princípios em espaços grandes, como planejar o trajeto de um drone para mapear um campo.

Por que importa

Uma única vista de uma cena costuma ser incompleta: os objetos ocultam a si mesmos e uns aos outros, e algumas propriedades só são visíveis de certos ângulos. Escolher para onde olhar permite a um robô reconstruir, reconhecer ou localizar objetos com menos medições e em menos tempo, o que importa para pegar objetos desconhecidos, para inspeção e para exploração.

Principais aplicações

• Planejamento da próxima melhor vista para reconstrução 3D e inspeção
• Reconhecimento de objetos e estimativa de pose a partir de pontos de vista escolhidos
• Controle do olhar e da câmera em humanoides e robôs móveis
• Varredura de objetos na mão antes de uma nova preensão
• Exploração e mapeamento com drones e robôs terrestres

Na prática

Um braço robótico com uma câmera no punho precisa de um modelo 3D completo de um objeto desconhecido antes de planejar uma preensão precisa. Depois de pegá-lo de forma frouxa, o robô o segura diante de uma câmera de profundidade fixa e o gira em torno do eixo vertical, fundindo as imagens de profundidade em um modelo volumétrico. Onde o modelo ainda é incerto, por exemplo na parte de baixo escondida pela garra, o sistema avalia um punhado de poses candidatas pela quantidade de voxels desconhecidos que cada uma revelaria e se move para a melhor. Ele para quando o ganho esperado cai abaixo de um limiar e então faz uma nova preensão do objeto usando o modelo completo.

Equívocos comuns

• Percepção ativa significa usar sensores ativos como LiDAR ou luz estruturada — 'ativa' se refere a controlar o processo de sensoriamento, o que vale igualmente para câmeras passivas
• Percepção ativa e percepção interativa são a mesma coisa — a percepção ativa muda o ponto de vista ou os parâmetros do sensor, enquanto a percepção interativa manipula fisicamente a cena para revelar informação
• Ela sempre exige planejamento ótimo de várias etapas — muitos sistemas eficazes usam escolhas gulosas da próxima melhor vista ou movimentos de varredura fixos; o planejamento POMDP completo é usado quando o custo extra compensa

Quem deve saber

• Engenheiros de percepção que trabalham com reconstrução 3D
• Pesquisadores de manipulação que lidam com objetos desconhecidos
• Desenvolvedores de exploração autônoma e inspeção
• Pesquisadores de planejamento no espaço de crenças e orientado por informação

Tecnologias relacionadas

• Planejamento da próxima melhor vista (Next-Best-View Planning)
• Mapeamento volumétrico (TSDF, OctoMap)
• Unidades Pan-Tilt
• Planejamento baseado em teoria da informação (Information-Theoretic Planning)
• Solvers de POMDP

Termos relacionados

• Interactive Perception
• Robotic information gathering
• Eye-in-Hand Camera
• Belief-Space Planning
• Frontier-Based Exploration
• Partially Observable Markov Decision Process (POMDP)

Projetos relacionados

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action