Affordance
- También llamado: affordances, affordance detection, action possibilities
- Categoría: Planning & manipulation › Manipulation
- Etiquetas: perception, manipulation, grasping, robot-learning, cognitive-robotics
Una acción que un objeto o un entorno hace posible para un agente concreto, como un asa que puede agarrarse o una superficie que puede sostener un objeto colocado sobre ella.
Definición
Affordances son las posibilidades de acción que el entorno ofrece a un agente concreto. El término lo introdujo el psicólogo James J. Gibson, quien sostuvo que los animales perciben el mundo en parte en función de lo que pueden hacer con él: una silla ofrece sentarse, un asa ofrece agarrarla, una superficie plana ofrece colocar cosas sobre ella. Las affordances son relacionales; dependen tanto del objeto como del cuerpo y las capacidades del agente.
En robótica, razonar sobre affordances significa predecir qué acciones son posibles y dónde. La detección de affordances etiqueta partes de una imagen o de una nube de puntos con acciones como agarrar, cortar, verter, empujar o contener. Los mapas de affordances asignan una puntuación a cada píxel o ubicación, por ejemplo la probabilidad de que un agarre en ese punto tenga éxito. Estas representaciones vinculan la percepción directamente con la acción en lugar de quedarse en los nombres de los objetos.
La naturaleza relacional importa para los robots. El asa de una taza ofrece agarre a una mano que cabe a través de ella, pero no a una pinza grande de mordazas paralelas; un escalón ofrece subir a un robot con patas, pero no a uno con ruedas. Por tanto, los buenos modelos de affordances tienen en cuenta la corporeidad del robot, no solo la categoría del objeto.
Con los grandes modelos de lenguaje y de visión, las affordances también sirven como señal de anclaje (grounding). Un modelo de lenguaje puede proponer pasos para una tarea, pero no sabe cuáles de esos pasos puede realizar realmente el robot en la escena actual. Sistemas como SayCan combinaron las sugerencias de un modelo de lenguaje con estimaciones aprendidas de si cada habilidad podía tener éxito desde el estado actual, una affordance en el sentido de Gibson.
Por qué importa
Los robots necesitan saber no solo qué son los objetos, sino qué se puede hacer con ellos. Las affordances conectan la percepción con la acción, y por eso aparecen en todo el agarre, el uso de herramientas y la manipulación guiada por lenguaje.
Aplicaciones clave
- Predicción de agarre y colocación a partir de imágenes o nubes de puntos
- Uso de herramientas y manipulación a nivel de partes, como asas, tapas y picos
- Anclaje de instrucciones en lenguaje natural a acciones que el robot puede realizar realmente
- Navegación y locomoción sobre terrenos que soportan o no al robot
En la práctica
Un equipo que construye un sistema de manipulación doméstica podría entrenar una red que predice, para cada píxel de una imagen RGB-D, dónde puede agarrar la pinza del robot y dónde pueden colocarse objetos. Después, el planificador de tareas consulta estos mapas: para abrir un cajón busca una región de asa agarrable, y para dejar una taza busca una superficie donde pueda colocarse. Los datos de entrenamiento suelen proceder de los propios intentos de agarre del robot, etiquetados según si tuvieron éxito, de modo que las predicciones reflejen esa pinza concreta.
Ideas erróneas comunes
- Una affordance es una propiedad solo del objeto — es una relación entre el objeto y el cuerpo y las capacidades del agente
- La detección de affordances es lo mismo que el reconocimiento de objetos — el reconocimiento nombra un objeto, mientras que la detección de affordances predice qué acciones admite y dónde
- Las affordances aprendidas para un robot se transfieren directamente a otro — una pinza o un cuerpo diferentes pueden cambiar qué acciones son posibles
Quién debería saberlo
- Investigadores en manipulación y agarre
- Ingenieros de percepción que construyen modelos de visión orientados a la acción
- Investigadores que conectan modelos de lenguaje con habilidades de robots
Tecnologías relacionadas
- Planificación de agarres (Grasp Planning)
- Segmentación semántica (Semantic Segmentation)
- Modelos de visión y lenguaje (Vision-Language Models)
- Planificación de tareas (Task Planning)
- Procesamiento de nubes de puntos (Point Cloud Processing)
Términos relacionados
Proyectos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills