Task-Oriented Grasping
- Auch genannt: TOG, task-aware grasping
- Kategorie: Planning & manipulation › Manipulation
- Schlagwörter: grasping, manipulation, affordances, tool-use, semantic-grasping
Die Wahl eines Griffs danach, was der Roboter als Nächstes mit dem Objekt tun wird, etwa ein Messer zum Schneiden am Griff zu halten, statt allein nach Griffstabilität.
Definition
Die meisten Griffplaner stellen eine Frage: Wird dieser Griff das Objekt halten? Aufgabenorientiertes Greifen (task-oriented grasping) fügt eine zweite hinzu: Lässt dieser Griff den Roboter die beabsichtigte Aufgabe ausführen? Ein am Rand gehaltener Becher mag sicher sein, verhindert aber das Ausgießen; ein am Schaft gehaltener Schraubendreher lässt sich nicht drehen. Die aufgabenorientierte Griffauswahl kombiniert daher Griffstabilität (grasp stability) mit Aufgabenbedingungen (task constraints): welcher Teil des Objekts berührt werden darf, welche Anfahrrichtungen den funktionalen Teil frei lassen und welchen Kräften und Momenten der Griff standhalten muss, während die Aufgabe ausgeführt wird.
Die Ansätze haben sich im Lauf der Zeit verändert. Frühe analytische Arbeiten beschrieben die Aufgabe durch die Menge der Wrenches, die sie auf das Objekt ausüben würde, und bevorzugten Griffe, die dieser Menge standhalten können, wie in den aufgabenorientierten Griffgütemaßen von Li und Sastry für mehrfingrige Hände. Spätere Arbeiten kodierten Objektteile und ihre Affordanzen, beschrifteten Bereiche wie Griff, Klinge oder Ausguss und lernten aus Datensätzen von Objekten, die mit aufgabenspezifischen Griffen annotiert sind, etwa TaskGrasp, welche Teile zu welchen Aufgaben passen. Neuere Zero-Shot-Methoden erzeugen mit einem allgemeinen Griffgenerator viele stabile Kandidatengriffe und ordnen sie dann mithilfe von Sprache: LERF-TOGO zum Beispiel nutzt ein sprachlich eingebettetes Radiance Field, um den in einer Anfrage genannten Objektteil zu finden, und behält die Griffe an diesem Teil.
Aufgabenorientiertes Greifen ist eng mit der Affordanzerkennung verbunden, aber nicht dasselbe. Eine Affordanzkarte sagt, wo an einem Objekt eine Aktion stattfinden könnte; aufgabenorientiertes Greifen ist die Entscheidung, welcher konkrete Griff ausgeführt wird, angesichts des Greifers, der Reichweite des Roboters und der folgenden Bewegung. Die Aufgabe kann auch eine weitere Person einbeziehen: Bei einer Übergabe greift der Roboter oft so, dass der Griff des Objekts frei bleibt und zum Empfänger zeigt.
Warum es wichtig ist
Roboter, die Objekte benutzen statt sie nur zu bewegen, scheitern, wenn sie ein Objekt falsch aufnehmen und dann umgreifen oder aufgeben müssen. Eine aufgabenbewusste Griffwahl beeinflusst auch die Sicherheit, etwa wenn scharfe Werkzeuge an Menschen übergeben werden.
Wichtige Anwendungen
- Werkzeuggebrauch mit Hämmern, Schraubendrehern und Pfannenwendern
- Manipulation im Haushalt und in der Küche
- Sichere Übergabe von Objekten an Menschen
- Ausgießen und Manipulieren von Behältern
- Montage, bei der ein Ende eines Bauteils zum Einsetzen frei bleiben muss
In der Praxis
Ein Küchenassistent soll einer Person ein Messer reichen. Die Wahrnehmung segmentiert das Messer, und ein Griffgenerator schlägt viele Parallelbackengriffe entlang des Messers vor. Ein Schritt auf Teileebene, entweder mit einem trainierten Teilesegmentierer oder mit einer Sprachanfrage an ein Vision-Language-Modell, trennt Klinge und Griff. Für die Übergabe behält der Roboter Griffe, die den Griff des Messers frei lassen und zur Person zeigen; soll er schneiden, behält er stattdessen Griffe am Messergriff. Die verbleibenden Kandidaten werden auf Erreichbarkeit geprüft und darauf, ob der Arm die folgende Bewegung ausführen kann, ohne an Gelenkgrenzen zu stoßen.
Häufige Missverständnisse
- Ein stabiler Griff ist ein guter Griff — Stabilität ist notwendig, aber nicht hinreichend; der Griff muss das Objekt auch für die Aufgabe nutzbar lassen
- Jedes Objekt hat einen einzigen richtigen Griff — der richtige Griff hängt von der Aufgabe ab; dasselbe Messer wird zum Schneiden anders gehalten als zum Übergeben
- Aufgabenorientiertes Greifen braucht für jedes Objekt aufgabenspezifische Trainingsdaten — neuere Zero-Shot-Methoden ordnen generische Griffkandidaten mithilfe von Sprach- und Vision-Language-Modellen, auch wenn spezielle Datensätze bei feinen Teileunterscheidungen weiterhin helfen
Wer das wissen sollte
- Forschende in der Manipulation, die an Werkzeuggebrauch arbeiten
- Ingenieure für Griffplanung
- Forschende in der Mensch-Roboter-Interaktion, die Übergaben untersuchen
- Entwickler von Servicerobotern
Verwandte Technologien
- Griffgütemaße (Grasp Quality Metrics)
- Teilesegmentierung (Part Segmentation)
- Vision-Language-Modelle (Vision-Language Models)
- Language Embedded Radiance Fields (LERF)
- TaskGrasp-Datensatz (TaskGrasp Dataset)
- Griffposenerkennung (Grasp Pose Detection)
Verwandte Begriffe
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
- Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments