Disentangled Relational Representations for Explaining and Learning from Demonstration

Auteurs: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un β-VAE avec des pertes auxiliaires sur les étiquettes apprend des plongements de relations spatiales qui transforment des démonstrations sur table en plans symboliques et en poses de l'effecteur terminal du PR2.

Pourquoi c'est important

Un utilisateur peut enseigner à un robot un vocabulaire spatial à partir de données partiellement étiquetées, et le robot explique ensuite de nouvelles démonstrations dans ce même vocabulaire, de sorte que son plan peut être lu et vérifié par une personne. Les mêmes plongements alimentent un régresseur de pose, qui relie les symboles enseignés au mouvement du bras sur un PR2.

Problème

L'apprentissage par démonstration dépend d'un biais inductif dans la structure des récompenses et des politiques, et les personnes qui ne sont pas expertes en robotique trouvent plus facile de démontrer une tâche que de la spécifier. Un robot à qui l'on enseigne par le langage doit ancrer des concepts abstraits comme « à gauche de » ou « sur » dans son flux de capteurs de grande dimension. Les modèles relationnels antérieurs nécessitent de grands jeux de données entièrement étiquetés et fonctionnent comme des boîtes noires, ou supposent un modèle d'environnement connu, une correspondance déterministe vers des symboles et des plans complets.

Solution proposée

Un β-VAE siamois encode des images RGBD masquées d'un objet cible et d'un objet de référence en plongements d'objets, et un opérateur variationnel projette chaque paire dans un espace relationnel de faible dimension comportant un axe par groupe de concepts (gauche/droite, devant/derrière, au-dessus/en dessous, proche/loin, sur/hors de, dans/hors). Des termes de reconstruction, de KL et d'entropie croisée sur des étiquettes faibles et partiellement manquantes alignent ces axes sur les notions humaines. Au moment du test, des tests du rapport de vraisemblance sur les traces de plongements des démonstrations retrouvent quel objet bouge, quand, et comment ses relations changent, les étapes trouvées dans toutes les démonstrations forment le plan, et un MLP régresse une pose 6-DoF de l'effecteur terminal qui est transmise au planificateur de mouvement MoveIt!.

Idées clés

• Des étiquettes faibles avec un cas 'unknown' explicite suffisent à aligner les axes latents sur les concepts spatiaux humains ; les paires non étiquetées contribuent tout de même par la perte de reconstruction.
• Combiner la reconstruction masquée et la classification des étiquettes d'objets a donné l'espace relationnel le plus exploitable pour segmenter les démonstrations ; les modèles sans la perte sur les étiquettes d'objets produisaient des plongements relationnels serrés autour de zéro, ce que les auteurs relient à leur segmentation plus faible.
• Des tests du rapport de vraisemblance entre une gaussienne « en mouvement » et une gaussienne « immobile » sur des plongements consécutifs suffisent à déterminer quel objet bouge et quand.
• Ne conserver que les étapes trouvées dans chaque démonstration élimine les mouvements accessoires, comme passer derrière un objet en allant de sa gauche à sa droite.
• Le régresseur de pose est le plus précis sur les axes qui comptent pour chaque tâche : la position pour poser sur ou dans quelque chose, le roulis et le tangage pour placer deux tasses face à face.

Principaux résultats

• Segmentation de plans sur des démonstrations BlocksWorld répétitives : le modèle complet (reconstruction + perte sur les étiquettes d'objets) a obtenu 0,80 pour left-right, 0,88 pour front-behind, 0,91 pour below-above, 0,86 pour far-close et 0,76 pour off-on, contre 0,50, 0,64, 0,54, 0,56 et 0,49 pour le modèle sans aucun des deux termes.
• Exception : sur le groupe out-in, le modèle complet a obtenu 0,56, en dessous des trois ablations (0,66, 0,62 et 0,78).
• Démonstrations enchaînées, où un seul objet bouge : tous les modèles ont atteint une exactitude de 1 sur C-shape et jump-over et d'environ 0,74 sur off-on-off.
• La distance d'édition moyenne des plans inférés diminue vers la vérité terrain à mesure que davantage de démonstrations (jusqu'à 8) sont utilisées ; certaines courbes ne convergent pas en raison d'occultations d'objets dans certaines démonstrations.
• Données : 1 000 scènes BlocksWorld synthétiques de 4 objets chacune (72 000 relations, 40 % non étiquetées) et, sur le PR2, 3 tâches téléopérées × 20 démonstrations donnant 2 400 paires d'objets étiquetées et 6 000 non étiquetées ; la prédiction de pose a été testée sur 10 démonstrations supplémentaires par tâche.

Limites

• L'extraction de l'essence de la tâche ne fonctionne que pour des tâches déterministes, où une seule séquence d'actions atteint l'objectif.
• La saisie n'est pas traitée ; on suppose que le robot tient déjà l'objet à déplacer.
• La segmentation n'est pas apprise : les masques proviennent d'un Mask R-CNN pré-entraîné sur le robot et de l'état du simulateur dans BlocksWorld, et les instructions doivent suivre un modèle prédéfini pour l'analyseur.
• Les occultations d'objets dans certaines démonstrations empêchent les plans inférés de converger vers la vérité terrain.
• L'évaluation couvre trois tâches simples sur table ; les tâches compositionnelles et les modificateurs comme « plus à gauche » sont laissés à des travaux futurs.

Impact sur le domaine

Finaliste du CoRL 2019 Best Paper Award, avec 28 citations. La page officielle du projet renvoie au code des expériences, au code de génération des données et aux données d'entraînement photoréalistes fondées sur CLEVR.

Résumé

L'apprentissage par démonstration est une méthode efficace permettant à des utilisateurs humains d'indiquer le comportement souhaité d'un robot. Cependant, pour la plupart des tâches non triviales d'intérêt pratique, un apprentissage par démonstration efficace dépend de manière cruciale du biais inductif présent dans la structure choisie pour les récompenses/coûts et les politiques. Nous traitons le cas où ce biais inductif provient d'un échange avec un utilisateur humain. Nous proposons une méthode dans laquelle un agent apprenant utilise la couche de goulot d'étranglement informationnel d'un modèle neuronal variationnel à grand nombre de paramètres, avec des termes de perte auxiliaires, afin d'ancrer des concepts abstraits tels que les relations spatiales. Ces concepts sont mentionnés dans des instructions en langage naturel et se manifestent dans le flux d'entrées sensorielles de grande dimension que l'agent reçoit du monde. Nous évaluons les propriétés de l'espace latent du modèle appris dans un environnement synthétique photoréaliste et nous concentrons particulièrement sur son utilité pour des tâches en aval. En outre, à travers une série d'expériences contrôlées de manipulation sur table, nous démontrons que la variété apprise peut servir à ancrer des démonstrations sous forme de plans symboliques, qui peuvent ensuite être exécutés sur un robot PR2.

Liens

• arXiv 1907.13627: https://arxiv.org/abs/1907.13627
• DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
• PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
• Code: https://github.com/yordanh/spatial_relations_experiments
• Page du projet: https://sites.google.com/view/explain-n-repeat/