Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Robot Handover

  • Aussi appelé: object handover, human-robot handover, handoff
  • Catégorie: Control › Human in the loop
  • Mots-clés: human-robot-interaction, grasping, collaborative-robots, physical-hri, manipulation

Transfert physique d'un objet entre un robot et une personne, de l'humain vers le robot ou du robot vers l'humain, coordonné par le mouvement, le minutage, le choix de la saisie et l'effort.

Définition

La transmission d'objet robotisée (robot handover) est l'action conjointe par laquelle un robot et une personne se passent un objet. On la divise généralement selon deux sens : les transmissions humain-robot (H2R), où le robot prend un objet que tient la personne, et les transmissions robot-humain (R2H), où le robot présente un objet que la personne doit prendre. Les échanges entre robots existent aussi, mais sont normalement traités comme un problème distinct et entièrement maîtrisé. Une transmission est un bref épisode d'interaction physique humain-robot : pendant un instant, les deux partenaires tiennent le même objet, et le transfert ne réussit que si l'un lâche au moment où l'autre prend la charge.

Une transmission est couramment décrite en phases. Dans la phase d'approche, ou d'atteinte, celui qui donne présente l'objet et celui qui reçoit se dirige vers lui ; le robot doit décider où rejoindre la personne, à quelle hauteur et avec quel minutage. Dans la phase de transfert, les deux mains sont sur l'objet, et celui qui donne relâche sa prise pendant que celui qui reçoit prend le poids. Les humains y parviennent en percevant la variation de charge à travers l'objet, et les robots l'imitent souvent : dans les transmissions R2H, le robot ouvre sa pince lorsque son capteur de force/couple au poignet ou ses courants moteur indiquent que la personne tire sur l'objet ou le soutient. Dans la phase de retrait, celui qui donne se retire et celui qui reçoit emporte l'objet.

Les transmissions H2R ajoutent un problème de perception et de saisie. Le robot doit suivre l'objet et la main de la personne, souvent avec une seule caméra de profondeur et de fortes occultations, choisir une saisie qui n'entre pas en collision avec les doigts de la personne, et mettre ce choix à jour en continu pendant que la main bouge. Les approches réactives segmentent la main et l'objet dans un nuage de points, génèrent des poses de saisie 6-DoF candidates, écartent celles proches de la main et asservissent la pince en boucle fermée vers la meilleure saisie restante. Les transmissions R2H accordent plus de poids à la lisibilité (legibility) : présenter l'objet à une hauteur naturelle, poignée tournée vers la personne et avec un mouvement prévisible, pour que la personne sache quand et où le prendre.

Pourquoi c'est important

Se passer des objets sera l'une des façons les plus courantes dont les personnes et les robots se partageront le travail à domicile, à l'hôpital et en atelier. Les transmissions combinent perception, saisie, planification de mouvement et sécurité autour d'une personne en une seule action brève, et les échecs se remarquent immédiatement : objets lâchés, doigts pincés ou minutage hésitant que les gens trouvent inconfortable.

Applications principales

  • Assemblage collaboratif, avec des robots qui passent outils et pièces aux opérateurs
  • Robots d'assistance qui tendent des objets à des personnes à mobilité réduite
  • Assistance chirurgicale et de laboratoire avec des instruments
  • Robots de service à domicile, dans le commerce et l'hôtellerie
  • Saisie d'objets que des personnes présentent à un robot pendant l'apprentissage

En pratique

Un bras collaboratif équipé d'une pince à mors parallèles et d'une caméra de profondeur montée au poignet est configuré pour prendre des outils des mains d'un technicien. À chaque image de la caméra, le système segmente la main de la personne et l'outil dans le nuage de points, exécute un réseau de saisie sur les points de l'outil pour obtenir des poses de saisie 6-DoF candidates, et rejette toute saisie dont le volume de la pince arrive à quelques centimètres des points de la main. Le bras se dirige vers la saisie restante la mieux notée avec un contrôleur à vitesse limitée et passe à une approche finale plus lente près de l'outil. Il ferme la pince puis attend que le capteur de force/couple indique que le poids de l'outil est passé au robot avant de se retirer. Dans l'autre sens, pour rendre un outil, le bras tient l'outil à hauteur de poitrine, poignée tournée vers la personne, et ne le relâche que lorsqu'il mesure une traction supérieure à un seuil fixé.

Idées reçues

  • Une transmission n'est qu'une saisie d'un objet qui se trouve être tenu — la main de la personne limite les saisies sûres, l'objet continue de bouger et le relâchement doit être coordonné avec le partenaire
  • Le robot doit lâcher dès que sa pince se ferme — un relâchement avant que celui qui reçoit ait pris la charge provoque des chutes ; les systèmes bien conçus relâchent sur un transfert de charge mesuré
  • Des transmissions plus rapides sont toujours meilleures — les gens préfèrent un mouvement prévisible et lisible, et des approches brusques ou très rapides réduisent le confort et la sécurité perçue
  • Les transmissions humain-robot et robot-humain sont le même problème inversé — H2R est dominé par la perception et le choix de la saisie, R2H par la présentation de l'objet et le moment du relâchement

Qui devrait le savoir

  • Chercheurs en interaction humain-robot
  • Ingénieurs d'application de robots collaboratifs
  • Développeurs en robotique d'assistance et de service
  • Ingénieurs en saisie et manipulation travaillant à proximité de personnes

Technologies associées

  • Capteur de force/couple six axes (Six-Axis Force-Torque Sensor)
  • Estimation de la pose de la main (Hand Pose Estimation)
  • 6-DOF GraspNet
  • MoveIt
  • ISO/TS 15066

Termes associés

  • Physical Human-Robot Interaction
  • 6-DoF Grasp Pose
  • Grasp Planning
  • Perceived Safety
  • Cobot
  • Visual Servoing

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
  • Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.