Affordance
- Auch genannt: affordances, affordance detection, action possibilities
- Kategorie: Planning & manipulation › Manipulation
- Schlagwörter: perception, manipulation, grasping, robot-learning, cognitive-robotics
Eine Handlung, die ein Objekt oder eine Umgebung einem bestimmten Akteur ermöglicht, etwa ein Griff, der gegriffen werden kann, oder eine Fläche, die ein abgestelltes Objekt tragen kann.
Definition
Affordanzen (Affordances) sind Handlungsmöglichkeiten, die die Umgebung einem bestimmten Akteur bietet. Der Begriff wurde von dem Psychologen James J. Gibson eingeführt, der argumentierte, dass Tiere die Welt teilweise danach wahrnehmen, was sie mit ihr tun können: Ein Stuhl bietet Sitzen an, ein Griff Greifen, eine ebene Fläche Abstellen. Affordanzen sind relational; sie hängen sowohl vom Objekt als auch vom Körper und den Fähigkeiten des Akteurs ab.
In der Robotik bedeutet Affordanz-Schlussfolgern, vorherzusagen, welche Aktionen wo möglich sind. Affordanzerkennung (Affordance Detection) versieht Teile eines Bildes oder einer Punktwolke mit Aktionen wie Greifen, Schneiden, Gießen, Schieben oder Aufnehmen. Affordanzkarten (Affordance Maps) ordnen jedem Pixel oder Ort einen Wert zu, etwa wie wahrscheinlich ein Griff an dieser Stelle gelingt. Diese Darstellungen verbinden Wahrnehmung direkt mit Handlung, statt bei Objektnamen stehen zu bleiben.
Die relationale Natur ist für Roboter wichtig. Ein Tassenhenkel bietet einer Hand, die hindurchpasst, Greifen an, nicht aber einem großen Parallelbacken-Greifer; eine Stufe bietet einem Laufroboter Steigen an, nicht aber einem Radroboter. Gute Affordanzmodelle berücksichtigen daher die Verkörperung (Embodiment) des Roboters, nicht nur die Objektkategorie.
Mit großen Sprach- und Bildmodellen dienen Affordanzen auch als Grounding-Signal. Ein Sprachmodell kann Schritte für eine Aufgabe vorschlagen, weiß aber nicht, welche dieser Schritte der Roboter in der aktuellen Szene tatsächlich ausführen kann. Systeme wie SayCan kombinierten Vorschläge des Sprachmodells mit gelernten Schätzungen, ob jede Fähigkeit aus dem aktuellen Zustand gelingen kann, eine Affordanz im Sinne Gibsons.
Warum es wichtig ist
Roboter müssen nicht nur wissen, was Objekte sind, sondern auch, was man mit ihnen tun kann. Affordanzen verbinden Wahrnehmung mit Handlung, weshalb sie überall beim Greifen, bei der Werkzeugnutzung und bei sprachgeführter Manipulation auftauchen.
Wichtige Anwendungen
- Vorhersage von Griffen und Ablagepositionen aus Bildern oder Punktwolken
- Werkzeugnutzung und Manipulation auf Teileebene, etwa an Griffen, Deckeln und Ausgüssen
- Grounding sprachlicher Anweisungen in Aktionen, die der Roboter tatsächlich ausführen kann
- Navigation und Fortbewegung über Gelände, das den Roboter trägt oder nicht trägt
In der Praxis
Ein Team, das ein Manipulationssystem für den Haushalt baut, könnte ein Netz trainieren, das für jedes Pixel eines RGB-D-Bildes vorhersagt, wo der Greifer des Roboters greifen und wo Objekte abgestellt werden können. Der Aufgabenplaner fragt dann diese Karten ab: Um eine Schublade zu öffnen, sucht er einen greifbaren Griffbereich, und um eine Tasse abzustellen, eine geeignete Ablagefläche. Die Trainingsdaten stammen oft aus den eigenen Greifversuchen des Roboters, gelabelt danach, ob sie gelungen sind, sodass die Vorhersagen genau diesen Greifer widerspiegeln.
Häufige Missverständnisse
- Eine Affordanz ist eine Eigenschaft allein des Objekts — sie ist eine Relation zwischen dem Objekt und dem Körper und den Fähigkeiten des Akteurs
- Affordanzerkennung ist dasselbe wie Objekterkennung — Erkennung benennt ein Objekt, während Affordanzerkennung vorhersagt, welche Aktionen es wo unterstützt
- Für einen Roboter gelernte Affordanzen übertragen sich direkt auf einen anderen — ein anderer Greifer oder Körper kann ändern, welche Aktionen möglich sind
Wer das wissen sollte
- Forschende in Manipulation und Greifen
- Wahrnehmungsingenieure, die handlungsorientierte Bildverarbeitungsmodelle bauen
- Forschende, die Sprachmodelle mit Roboterfähigkeiten verbinden
Verwandte Technologien
- Griffplanung (Grasp Planning)
- Semantische Segmentierung (Semantic Segmentation)
- Vision-Language-Modelle (Vision-Language Models)
- Aufgabenplanung (Task Planning)
- Punktwolkenverarbeitung (Point Cloud Processing)
Verwandte Begriffe
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills