Task-Oriented Grasping

Aussi appelé: TOG, task-aware grasping
Catégorie: Planning & manipulation › Manipulation
Mots-clés: grasping, manipulation, affordances, tool-use, semantic-grasping

Choix d'une prise selon ce que le robot fera ensuite de l'objet, par exemple tenir un couteau par le manche pour couper, plutôt que selon la seule stabilité de la prise.

Définition

La plupart des planificateurs de prise se posent une seule question : cette prise tiendra-t-elle l'objet ? La saisie orientée tâche (task-oriented grasping) en ajoute une seconde : cette prise permettra-t-elle au robot d'accomplir la tâche prévue ? Une tasse tenue par le bord peut être stable mais empêche de verser ; un tournevis tenu par la tige ne peut pas être tourné. La sélection d'une prise orientée tâche combine donc la stabilité de la prise (grasp stability) et les contraintes de la tâche (task constraints) : quelle partie de l'objet peut être touchée, quelles directions d'approche laissent la partie fonctionnelle libre, et quels efforts et couples la prise doit supporter pendant l'exécution de la tâche.

Les approches ont évolué au fil du temps. Les premiers travaux analytiques décrivaient la tâche par l'ensemble des torseurs qu'elle appliquerait à l'objet et privilégiaient les prises capables de résister à cet ensemble, comme dans les mesures de qualité de prise orientées tâche de Li et Sastry pour les mains à plusieurs doigts. Des travaux ultérieurs ont encodé les parties des objets et leurs affordances, en étiquetant des régions comme le manche, la lame ou le bec, et ont appris quelles parties conviennent à quelles tâches à partir de jeux de données d'objets annotés avec des prises propres à chaque tâche, comme TaskGrasp. Des méthodes zero-shot récentes génèrent de nombreuses prises candidates stables avec un générateur de prises générique, puis les classent à l'aide du langage : LERF-TOGO, par exemple, utilise un champ de radiance à plongement linguistique pour trouver la partie de l'objet nommée dans une requête et conserve les prises sur cette partie.

La saisie orientée tâche est étroitement liée à la détection d'affordances, sans être la même chose. Une carte d'affordances indique où, sur un objet, une action pourrait avoir lieu ; la saisie orientée tâche est la décision de la prise précise à exécuter, compte tenu de la pince, de la portée du robot et du mouvement qui suit. La tâche peut aussi impliquer une autre personne : lors d'une remise en main, le robot saisit souvent l'objet de façon à laisser le manche libre et tourné vers le receveur.

Pourquoi c'est important

Les robots qui utilisent des objets, et pas seulement les déplacent, échouent s'ils les saisissent de la mauvaise manière et doivent ensuite les reprendre ou abandonner. Un choix de prise qui tient compte de la tâche influe aussi sur la sécurité, par exemple quand on tend des outils tranchants à des personnes.

Applications principales

Utilisation d'outils comme les marteaux, les tournevis et les spatules
Manipulation domestique et en cuisine
Remise d'objets en main propre aux personnes en toute sécurité
Versement et manipulation de récipients
Assemblage où une extrémité d'une pièce doit rester libre pour l'insertion

En pratique

On demande à un assistant de cuisine de tendre un couteau à une personne. La perception segmente le couteau et un générateur de prises propose de nombreuses prises à mâchoires parallèles le long de celui-ci. Une étape au niveau des parties, utilisant soit un segmenteur de parties entraîné, soit une requête en langage adressée à un modèle vision-langage, sépare la lame du manche. Pour la remise, le robot conserve les prises qui laissent le manche libre et orienté vers la personne ; si on lui demande de couper, il conserve plutôt les prises sur le manche. Les candidats restants sont vérifiés quant à leur accessibilité et à la capacité du bras à exécuter le mouvement suivant sans atteindre les limites articulaires.

Idées reçues

Une prise stable est une bonne prise — la stabilité est nécessaire mais pas suffisante ; la prise doit aussi laisser l'objet utilisable pour la tâche
Chaque objet a une seule prise correcte — la bonne prise dépend de la tâche ; le même couteau se tient différemment pour couper et pour le tendre
La saisie orientée tâche exige des données d'entraînement propres à la tâche pour chaque objet — des méthodes zero-shot récentes classent des prises candidates génériques à l'aide de modèles de langage et de modèles vision-langage, même si des jeux de données dédiés aident encore pour les distinctions fines entre parties

Qui devrait le savoir

Chercheurs en manipulation travaillant sur l'utilisation d'outils
Ingénieurs en planification de prise
Chercheurs en interaction humain-robot qui étudient la remise d'objets
Développeurs de robots de service

Technologies associées

Métriques de qualité de prise (Grasp Quality Metrics)
Segmentation en parties (Part Segmentation)
Modèles vision-langage (Vision-Language Models)
Language Embedded Radiance Fields (LERF)
Jeu de données TaskGrasp (TaskGrasp Dataset)
Détection de poses de prise (Grasp Pose Detection)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments