Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

Auteurs: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

OPA pré-entraîne une politique à réseau de graphes sur des trajectoires synthétiques d'approche et d'évitement, puis s'adapte à une seule correction humaine en ne mettant à jour que de petites caractéristiques de préférence propres à chaque objet, en moins de 0,5 s.

Pourquoi c'est important

Séparer la dynamique d'interaction fixe des préférences propres aux objets permet à une seule correction de modifier le comportement envers un objet sans réentraîner la politique. L'espace latent compact peut exprimer des comportements absents du pré-entraînement, comme des orientations relatives arbitraires dans SO(3), et le pré-entraînement ne nécessite aucune démonstration humaine, car les données sont synthétiques.

Problème

Les robots doivent modifier leur comportement lorsqu'une personne les corrige en cours de tâche, par exemple lorsqu'une usine ajoute une nouvelle étape de scan. Les méthodes en ligne existantes exigent soit des épisodes d'interaction répétés, soit modélisent les préférences humaines comme des poids sur un ensemble fixe de caractéristiques de récompense choisies à la main, ce qui limite ce qui peut être appris et se transfère mal à de nouvelles tâches.

Solution proposée

OPA représente la scène comme un graphe dont le robot et les objets sont les nœuds, avec des arêtes allant de chaque objet vers le robot. Des réseaux de relations partagés pour la position et l'orientation prennent en entrée des caractéristiques d'état relatif conçues à la main ainsi qu'une petite caractéristique de préférence apprise par objet (1-D pour la position ; une variable latente 1-D plus un décalage de rotation en quaternion pour l'orientation), et un agrégateur somme et normalise leurs sorties en une action. La politique est pré-entraînée sur des trajectoires synthétiques Elastic Band ; après une perturbation humaine, seules les caractéristiques propres à chaque objet sont mises à jour par quelques pas de gradient sur un déroulé imaginé, tandis que les poids du réseau partagé restent figés.

Idées clés

• Traiter les caractéristiques de préférence propres à chaque objet comme des poids entraînables confine l'adaptation à un espace latent compact : 5 mises à jour de gradient pour la position et 20 pour l'orientation ont suffi.
• Le pré-entraînement ne couvrait que quatre classes d'interaction (se rapprocher ou s'éloigner ; ignorer l'orientation d'un objet ou s'y aligner avec un décalage fixe), et pourtant l'adaptation a produit de nouveaux comportements, comme des orientations 3D arbitraires par rapport à un objet.
• La structure du modèle a rendu les poids appris interprétables : les décalages de rotation 2D appris ont convergé vers les décalages réels pendant l'entraînement.
• Contrairement aux méthodes par champs de potentiel, le réseau de relations n'est pas contraint de produire des forces parallèles au vecteur robot–objet, ce qui évite l'échec lorsqu'un obstacle se trouve dans la même direction que le but.
• Initialiser les caractéristiques de position des objets répulsifs, attractifs et buts à 1,0, 0,5 et 0,0 a fait qu'une interpolation entre caractéristiques donne un comportement interpolé, de sorte que de nouveaux objets peuvent démarrer comme « ignorer » au point médian.

Principaux résultats

• Étude utilisateur avec 10 étudiants de CMU sur trois tâches de manipulateur simulé, les perturbations étant appliquées avec des touches du clavier.
• Tâche 1 (porter une tasse fragile bas au-dessus de la table) : les utilisateurs ont jugé qu'OPA comprenait mieux leurs préférences, demandait moins d'effort et était légèrement plus prévisible qu'une référence qui bascule en compensation de gravité pendant la perturbation.
• Tâche 2 (présenter une poêle selon une orientation choisie) : erreur d'orientation moyenne de 0,2576 rad, soit 16 % du maximum possible π/2 ; quartiles de satisfaction 3,5 / 4,0 / 4,0 sur une échelle en cinq points.
• Tâche 3 (ajouter une étape de scan de code-barres avant le bac) : quartiles pour « a compris mes intentions » 4,0 / 4,0 / 5,0 sur une échelle en cinq points.
• L'adaptation en ligne prend moins de 0,5 s au total ; le pré-entraînement de chaque réseau prend 12 minutes pour 100 époques sur un GPU de portable, après 4 minutes pour générer 3000 trajectoires synthétiques avec 9 processus parallèles.

Limites

• Les auteurs indiquent qu'OPA repose sur des actions centrées sur les objets formulées comme approche et évitement ; la saisie et l'application d'une force (par exemple essuyer une surface) ne sont pas prises en charge.
• Elle suppose que chaque objet peut être détecté, identifié de façon unique et que sa pose 6D peut être extraite ; les environnements non structurés sont laissés à des travaux futurs.
• Les résultats sont sensibles au taux d'apprentissage de l'adaptation et au nombre de pas de gradient : dans la tâche 1, deux utilisateurs ont vu le robot s'attarder près de la table ou ignorer le but, et dans la tâche 3, deux ont dit que le bol aurait dû se rapprocher davantage du scanner.
• Les objectifs centrés sur la tâche qui ne sont pas relatifs à un objet, comme le dessin, ne sont pas couverts.
• L'étude utilisateur a utilisé un manipulateur simulé perturbé avec des touches du clavier, et non un contact physique avec un robot réel.

Impact sur le domaine

Lauréat du prix ICRA 2023 Outstanding Physical Human-Robot Interaction Paper, avec 7 citations. L'article renvoie vers des vidéos, le code et du matériel supplémentaire ; la page officielle du projet pointe vers le dépôt de code.

Résumé

Pour que des robots soient déployés efficacement dans des environnements et des tâches nouveaux, ils doivent pouvoir comprendre le retour exprimé par les humains lors d'une intervention. Celui-ci peut soit corriger un comportement indésirable, soit indiquer des préférences supplémentaires. Les méthodes existantes exigent des épisodes d'interaction répétés ou supposent des caractéristiques de récompense connues a priori, ce qui est peu efficace en données et se transfère difficilement à de nouvelles tâches. Nous assouplissons ces hypothèses en décrivant les tâches humaines sous forme de sous-tâches centrées sur les objets et en interprétant les interventions physiques par rapport à des objets précis. Notre méthode, Object Preference Adaptation (OPA), se compose de deux étapes clés : 1) le pré-entraînement d'une politique de base pour produire une grande variété de comportements, et 2) la mise à jour en ligne de certains poids seulement du modèle en fonction du retour humain. La clé de notre adaptation rapide et pourtant simple est que la dynamique d'interaction générale entre agents et objets reste fixe, et que seules les préférences propres aux objets sont mises à jour. Notre adaptation se fait en ligne, ne nécessite qu'une seule intervention humaine (one-shot) et produit de nouveaux comportements jamais vus pendant l'entraînement. Entraînée sur des données synthétiques bon marché plutôt que sur des démonstrations humaines coûteuses, notre politique montre une adaptation remarquable aux perturbations humaines sur des tâches difficiles et réalistes dans notre étude utilisateur. Vidéos, code et matériel supplémentaire : https://alvinosaur.github.io/AboutMe/projects/opa.

Liens

• arXiv 2203.04951: https://arxiv.org/abs/2203.04951
• DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
• PDF: https://arxiv.org/pdf/2203.04951v1
• Code: https://github.com/Alvinosaur/opa
• Page du projet: https://alvinosaur.github.io/AboutMe/projects/opa