Learning to Share Autonomy across Repeated Interaction

Auteurs: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Autonomie partagée sans liste d'objectifs prédéfinie : le robot apprend des tâches par téléopération répétée, les reconnaît à partir des commandes au joystick, imite les exécutions passées et rend le contrôle lorsqu'il n'est pas sûr.

Pourquoi c'est important

Les utilisateurs de bras d'assistance répètent les mêmes tâches quotidiennes ; un bras qui apprend de ces répétitions peut donc réduire l'effort de téléopération sans que personne ne programme une liste d'objectifs. Le retour du contrôle fondé sur le discriminateur évite le blocage observé avec les méthodes d'inférence d'objectif, où le robot résiste à un utilisateur qui se dirige vers une cible inconnue.

Problème

Les méthodes d'autonomie partagée pour bras d'assistance nécessitent des connaissances préalables, comme l'ensemble des objectifs que l'utilisateur pourrait atteindre ou la récompense qu'il optimise. Lorsque l'utilisateur tente une tâche hors de cet ensemble, comme ouvrir un réfrigérateur dont on n'a jamais parlé au robot, celui-ci ne peut pas aider et peut même pousser vers le mauvais objectif connu.

Solution proposée

Le robot enregistre chaque interaction téléopérée et entraîne un encodeur qui associe les états courants et les commandes au joystick de l'utilisateur à une tâche latente, ainsi qu'une politique décodeur qui produit des vitesses articulaires d'assistance reproduisant le comportement passé de l'utilisateur pour cette tâche. Un discriminateur distinct, entraîné à distinguer les interactions déjà vues de leurs déformations bruitées, évalue à quel point l'interaction en cours est familière, et ce score fixe le mélange β entre les actions du robot et celles de l'humain. Les modèles sont réentraînés entre les interactions, de sorte que de nouvelles tâches sont apprises en continu.

Idées clés

• C'est la répétition dans la vie quotidienne qui rend possible l'apprentissage de l'assistance ; il n'est jamais nécessaire de dire au robot quelle tâche l'utilisateur veut accomplir.
• Encoder l'interaction dans une tâche latente avant de choisir une action a amélioré l'atteinte des objectifs par rapport au clonage de comportement (DAgger) conditionné directement sur l'interaction.
• Un discriminateur de familiarité distinct a donné une confiance plus stable sur une tâche connue que l'incertitude autoévaluée de DropoutDAgger, qui rendait le contrôle au moindre écart.
• N'utiliser que les commandes de l'humain, et non l'action mélangée, comme entrée de l'encodeur évite les boucles de rétroaction dans lesquelles le robot se convainc de l'objectif par ses propres actions.
• L'inférence bayésienne d'objectif sur un ensemble fixe d'objectifs peut se bloquer sur une tâche inconnue, comme le montre l'annexe lorsque l'utilisateur ouvre un tiroir et que le robot tire vers un bloc-notes voisin.

Principaux résultats

• Dans l'ablation d'atteinte avec trois objectifs et 3 ou 5 démonstrations d'entraînement, où l'utilisateur ne guidait que les 0,5 s initiales, l'approche fondée sur l'encodeur a atteint l'objectif avec une erreur d'état finale plus faible que DAgger avec les mêmes données.
• Avec cinq répétitions préalables d'une compétence consistant à soulever un verre, l'approche est restée confiante de bout en bout, tandis que DropoutDAgger n'apportait que rarement une assistance.
• Entraînée sur cinq répétitions d'une compétence de tiroir, l'approche a réduit l'effort humain sur la tâche du tiroir à tous les niveaux de bruit testés et n'a pas demandé plus d'effort que No Assist sur une tâche inédite consistant à atteindre une canette.
• Dans une étude avec 10 participants, l'effort humain pour atteindre deux objectifs connus ne différait pas significativement entre l'approche et une référence d'autonomie partagée bayésienne.
• Lorsque les participants ont effectué deux nouvelles tâches 9 fois chacune avec un réentraînement tous les trois essais, le robot a reconnu la compétence de tiroir et a fourni une assistance après un entraînement sur 6 démonstrations ; un modèle entraîné sur toutes les tâches assistait les objectifs initiaux à peu près aussi bien que des modèles spécifiques à chaque tâche.
• Les auteurs indiquent que la méthode apprend à partir d'un nombre pratique d'interactions (moins de 10).

Limites

• L'approche ne modélise pas explicitement la co-adaptation : à mesure que les utilisateurs font confiance au robot, ils peuvent changer leur façon de téléopérer, par exemple en cessant complètement d'utiliser le joystick.
• L'étude utilisateur comptait 10 participants issus d'une communauté universitaire, et non des utilisateurs vivant avec un handicap physique.
• Les expériences ont utilisé un bras 7-DoF fixe dans un cadre domestique simplifié, et non un bras monté sur fauteuil roulant.
• Les expériences en simulation utilisent des opérateurs simulés avec un bruit gaussien sur leurs commandes plutôt que de vrais utilisateurs.

Impact sur le domaine

L'article a été finaliste du IROS 2021 Best RoboCup Paper Award et compte 16 citations. Il renvoie à une vidéo des expériences ; il ne mentionne pas de publication de code ou de données.

Résumé

Les bras robotisés montés sur fauteuil roulant (et d'autres robots d'assistance) devraient aider leurs utilisateurs à accomplir les tâches de la vie quotidienne. L'autonomie partagée est l'un des moyens par lesquels les robots peuvent fournir cette assistance. En autonomie partagée, l'humain comme le robot conservent le contrôle du mouvement du robot : à mesure que le robot devient confiant dans sa compréhension de ce que veut l'humain, il intervient de plus en plus pour automatiser la tâche. Mais comment le robot sait-il, au départ, quelles tâches l'humain peut vouloir accomplir ? Les approches actuelles d'autonomie partagée reposent souvent sur des connaissances préalables : par exemple, le robot doit connaître a priori l'ensemble des objectifs humains possibles. À long terme, cependant, ces connaissances préalables finiront inévitablement par être prises en défaut — tôt ou tard, l'humain cherchera à atteindre un objectif que le robot n'avait pas prévu. Dans cet article, nous proposons une approche d'apprentissage de l'autonomie partagée qui tire parti des interactions répétées. Apprendre à assister des humains serait impossible s'ils accomplissaient des tâches complètement différentes à chaque interaction : mais notre idée est que les utilisateurs vivant avec un handicap physique répètent des tâches importantes au quotidien (par exemple ouvrir le réfrigérateur, faire du café et dîner). Nous présentons un algorithme qui exploite ces interactions répétées pour reconnaître la tâche de l'humain, reproduire des démonstrations similaires et rendre le contrôle en cas d'incertitude. À mesure que l'humain travaille de façon répétée avec ce robot, notre approche apprend continuellement à assister des tâches qui n'ont jamais été spécifiées à l'avance : ces tâches comprennent à la fois des objectifs discrets (par exemple atteindre une tasse) et des compétences continues (par exemple ouvrir un tiroir). En simulation et dans une étude utilisateur en présentiel, nous montrons que les robots exploitant notre approche égalent les méthodes d'autonomie partagée existantes pour les objectifs connus et surpassent des références d'apprentissage par imitation sur de nouvelles tâches. Vidéos ici : https://youtu.be/NazeLVbQ2og

Liens

• arXiv 2107.09650: https://arxiv.org/abs/2107.09650
• DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
• PDF: https://arxiv.org/pdf/2107.09650v1