6-DoF Grasp Pose

• Aussi appelé: 6-DoF grasp
• Catégorie: Planning & manipulation › Manipulation
• Mots-clés: grasping, pose-estimation, point-clouds, manipulation, grasp-detection

Position 3D et orientation 3D complètes d'une pince à laquelle elle doit se refermer sur un objet, par opposition aux saisies planaires ou par le dessus, qui ont moins de paramètres libres.

Définition

Une pose de saisie 6-DoF (6-DoF grasp pose) indique où doit se trouver une pince lorsqu'elle se referme sur un objet : trois degrés de liberté pour la position et trois pour l'orientation, formant ensemble un élément de SE(3). Elle s'exprime généralement comme la pose d'un repère lié à la pince, souvent placé au centre entre les bouts des doigts, par rapport à la caméra, à la base du robot ou à l'objet. Pour une pince à mors parallèles, la description est souvent complétée par l'ouverture, et pour les mains à plusieurs doigts par les angles articulaires des doigts, mais c'est la partie 6-DoF qui permet à la pince d'approcher depuis n'importe quelle direction.

Le terme s'emploie surtout par opposition aux représentations de saisie de dimension plus faible. Les premières méthodes de saisie par apprentissage prédisaient des saisies planaires, comme des rectangles orientés dans une image, ce qui revient à une approche par le dessus avec une position, une profondeur et une rotation autour de l'axe vertical, soit environ quatre degrés de liberté. Elles suffisent pour des objets posés à plat dans un bac vu de dessus, mais ne permettent pas de saisir une tasse par le côté, une bouteille couchée sur une étagère ou un objet tenu par une personne. Les méthodes 6-DoF explorent tout l'espace des directions d'approche, ce qui les rend plus générales mais aussi plus difficiles : l'espace est plus grand, de nombreuses poses candidates entrent en collision avec l'objet ou la scène, et le résultat doit être atteignable par le bras.

Les chaînes de traitement 6-DoF typiques partent d'un nuage de points partiel. Les méthodes par échantillonnage comme Grasp Pose Detection proposent de nombreuses poses de pince à l'aide d'heuristiques géométriques comme le contact antipodal, puis les notent avec un classifieur appris. Les méthodes génératives comme 6-DOF GraspNet échantillonnent des poses de saisie dans une distribution apprise et les affinent avec un évaluateur appris, tandis que Contact-GraspNet prédit des saisies ancrées à des points de surface observés d'une scène complète. Chaque candidate est ensuite vérifiée pour les collisions, résolue par cinématique inverse et exécutée avec une pose de pré-saisie située un peu en retrait le long de l'axe d'approche, une approche en ligne droite, la fermeture et le levage. Les conventions de repère comptent : les bibliothèques diffèrent sur l'axe de la pince qui donne la direction d'approche et sur l'emplacement de l'origine du repère, et une saisie à mors parallèles tournée de 180 degrés autour de son axe d'approche est physiquement la même saisie, ce qui affecte à la fois les fonctions de perte d'entraînement et l'évaluation.

Pourquoi c'est important

La plupart des objets réels ne sont pas posés à plat dans un bac. Les étagères, les tables, l'encombrement et les objets tenus par des personnes exigent tous une approche depuis d'autres directions que la verticale descendante, et les poses de saisie 6-DoF sont la représentation qui rend ces saisies possibles. Elles constituent aussi l'interface commune entre les détecteurs de saisie et les planificateurs de mouvement.

Applications principales

• Prise d'objets sur des étagères, des tables et dans des scènes encombrées
• Transmissions humain-robot d'objets tenus dans la main d'une personne
• Manipulation mobile à domicile et en entrepôt
• Saisie d'objets jamais vus à partir de nuages de points partiels
• Génération en simulation de jeux de données de saisie pour l'apprentissage

En pratique

Un robot de cuisine doit saisir une tasse posée debout, l'anse tournée à l'opposé. Une caméra de profondeur fournit un nuage de points partiel de la tasse, et un réseau de saisie renvoie quelques centaines de candidates de saisie 6-DoF avec leurs scores. Le logiciel transforme les candidates dans le repère de la base du robot, écarte celles qui entrent en collision avec la table ou la scène, et calcule la cinématique inverse pour les autres, en ne gardant que celles atteignables sans approcher d'une butée articulaire. Pour la meilleure saisie, qui se referme latéralement sur le bord, le planificateur amène la pince à une pose de pré-saisie à 10 centimètres en retrait le long de son axe d'approche, approche en ligne droite, ferme la pince et soulève. Un bogue initial a été attribué au fait que la bibliothèque de saisie et la pince du robot utilisaient des axes d'approche différents ; il a été corrigé par une rotation fixe entre les deux conventions de repère.

Idées reçues

• Une pose de saisie 6-DoF suffit pour exécuter une saisie — elle doit encore passer les vérifications de collision, avoir une solution de cinématique inverse et être atteinte par une approche de pré-saisie raisonnable
• Les saisies par le dessus suffisent pour la plupart des tâches — elles fonctionnent pour des objets posés à plat dans des bacs ouverts, mais les étagères, les poignées orientées sur le côté et les objets tenus par des personnes demandent des directions d'approche qu'une saisie par le dessus ne peut pas offrir
• Toutes les bibliothèques de saisie utilisent le même repère de pince — l'axe d'approche et l'origine du repère diffèrent selon les outils, et mélanger les conventions produit sans avertissement des saisies erronées
• « GraspNet » désigne une seule méthode — 6-DOF GraspNet et le jeu de données GraspNet-1Billion avec sa méthode de référence sont des travaux distincts de groupes différents

Qui devrait le savoir

• Ingénieurs en manipulation et en saisie
• Ingénieurs en perception qui construisent des systèmes de prise et dépose
• Chercheurs en apprentissage robotique travaillant sur la détection de saisies
• Développeurs en manipulation mobile

Technologies associées

• 6-DOF GraspNet
• Contact-GraspNet
• Grasp Pose Detection (GPD)
• MoveIt
• Open3D

Termes associés

• Grasp Planning
• Antipodal Grasp
• Grasp Quality Metric
• SE(3)
• Point Cloud
• 6D rotation representation

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments