Affordance
- Também chamado: affordances, affordance detection, action possibilities
- Categoria: Planning & manipulation › Manipulation
- Tags: perception, manipulation, grasping, robot-learning, cognitive-robotics
Uma ação que um objeto ou ambiente torna possível para um agente específico, como uma alça que pode ser pega ou uma superfície que pode sustentar um objeto colocado sobre ela.
Definição
Affordances são possibilidades de ação que o ambiente oferece a um agente específico. O termo foi introduzido pelo psicólogo James J. Gibson, que argumentou que os animais percebem o mundo em parte em termos do que podem fazer com ele: uma cadeira oferece sentar, uma alça oferece pegar, uma superfície plana oferece apoiar coisas. As affordances são relacionais; dependem tanto do objeto quanto do corpo e das capacidades do agente.
Na robótica, raciocinar sobre affordances significa prever quais ações são possíveis e onde. A detecção de affordances rotula partes de uma imagem ou nuvem de pontos com ações como pegar, cortar, despejar, empurrar ou conter. Os mapas de affordances atribuem uma pontuação a cada pixel ou local, por exemplo a probabilidade de uma preensão naquele ponto ter sucesso. Essas representações ligam a percepção diretamente à ação, em vez de parar nos nomes dos objetos.
A natureza relacional importa para os robôs. A alça de uma xícara oferece preensão a uma mão que cabe através dela, mas não a uma garra grande de mandíbulas paralelas; um degrau oferece subida a um robô com pernas, mas não a um com rodas. Por isso, bons modelos de affordances levam em conta a corporeidade do robô, e não apenas a categoria do objeto.
Com grandes modelos de linguagem e de visão, as affordances também servem como sinal de ancoragem (grounding). Um modelo de linguagem pode propor passos para uma tarefa, mas não sabe quais desses passos o robô consegue de fato executar na cena atual. Sistemas como o SayCan combinaram sugestões de um modelo de linguagem com estimativas aprendidas de se cada habilidade poderia ter sucesso a partir do estado atual, uma affordance no sentido de Gibson.
Por que importa
Os robôs precisam saber não só o que os objetos são, mas o que pode ser feito com eles. As affordances ligam a percepção à ação, e é por isso que aparecem em toda a preensão, no uso de ferramentas e na manipulação guiada por linguagem.
Principais aplicações
- Previsão de preensão e posicionamento a partir de imagens ou nuvens de pontos
- Uso de ferramentas e manipulação no nível de partes, como alças, tampas e bicos
- Ancoragem de instruções em linguagem natural em ações que o robô consegue de fato executar
- Navegação e locomoção sobre terrenos que sustentam ou não o robô
Na prática
Uma equipe que constrói um sistema de manipulação doméstica pode treinar uma rede que prevê, para cada pixel de uma imagem RGB-D, onde a garra do robô consegue pegar e onde objetos podem ser colocados. O planejador de tarefas então consulta esses mapas: para abrir uma gaveta, procura uma região de alça que possa ser pega, e para pousar uma xícara, procura uma superfície onde ela possa ser colocada. Os dados de treinamento geralmente vêm das próprias tentativas de preensão do robô, rotuladas conforme tiveram sucesso ou não, para que as previsões reflitam aquela garra específica.
Equívocos comuns
- Uma affordance é uma propriedade apenas do objeto — é uma relação entre o objeto e o corpo e as capacidades do agente
- Detecção de affordances é o mesmo que reconhecimento de objetos — o reconhecimento nomeia um objeto, enquanto a detecção de affordances prevê quais ações ele permite e onde
- Affordances aprendidas para um robô se transferem diretamente para outro — uma garra ou um corpo diferente pode mudar quais ações são possíveis
Quem deve saber
- Pesquisadores de manipulação e preensão
- Engenheiros de percepção que constroem modelos de visão orientados à ação
- Pesquisadores que conectam modelos de linguagem a habilidades de robôs
Tecnologias relacionadas
- Planejamento de preensão (Grasp Planning)
- Segmentação semântica (Semantic Segmentation)
- Modelos de visão e linguagem (Vision-Language Models)
- Planejamento de tarefas (Task Planning)
- Processamento de nuvens de pontos (Point Cloud Processing)
Termos relacionados
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills