Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

Auteurs: Andrei Haidu, Michael Beetz · ICRA 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des personnes effectuent des tâches de cuisine dans un monde VR simulé physiquement ; des moniteurs en ligne découpent leurs actions en événements d'approche, de saisie, de transport et de dépose, stockés dans KnowRob pour être interrogés par des robots.

Pourquoi c'est important

Les démonstrations sortent déjà segmentées et annotées dans une ontologie partagée par le robot, y compris les parties du corps virtuel, si bien qu'aucun étiquetage manuel n'est nécessaire. Les épisodes peuvent être rejoués et interrogés par type d'action, type d'objet et relations entre parties, par exemple toutes les saisies de poignées appartenant à une porte de réfrigérateur.

Problème

Les robots qui apprennent la manipulation ont souvent besoin de plus d'expérience qu'on ne peut en fournir avec un effort raisonnable ; chaque démonstration devrait donc porter davantage d'informations structurées. Le système AMEvA antérieur des auteurs ne suivait que la tête et les mains, laissait les utilisateurs atteindre des endroits qui seraient inaccessibles en réalité, ne pouvait pas utiliser d'autres parties du corps comme les coudes ou les pieds, et donnait des représentations d'actions grossières.

Solution proposée

Les utilisateurs agissent dans un environnement Unreal Engine 4 simulé avec NVIDIA PhysX, avec suivi du corps entier et du regard ; les mains sont pilotées par des contrôleurs PID 3D, de sorte que les objets lourds tirent en arrière ou glissent, et les saisies résultent de la physique à partir de styles de saisie prédéfinis. Un enregistreur sous-symbolique stocke les états du monde et le regard image par image dans MongoDB, tandis que des moniteurs en ligne dotés de réseaux de capteurs de contact sur la main et de grammaires enregistrent les sous-mouvements de saisie, de contact, supported-by et de pick-and-place comme des événements OWL dans KnowRob.

Idées clés

• Piloter les mains virtuelles par des contrôleurs PID plutôt que par une correspondance directe rend le poids des objets significatif, ce qui incite à des stratégies du monde réel comme soulever à deux mains.
• Des réseaux de capteurs de contact sur les doigts, le pouce et la paume distinguent une véritable saisie d'un simple contact : une saisie exige un contact d'au moins deux ensembles différents.
• Les phases de mouvement sans caractéristiques claires de début ou de fin (début de l'approche, fin du prélèvement, début de la dépose) peuvent être délimitées par des régions d'intérêt et un retour en arrière sur le mouvement des objets mis en cache.
• La relation supported-by est détectée comme un contact avec une vitesse verticale relative quasi nulle, de sorte qu'un objet porté sur un plateau compte toujours comme soutenu par celui-ci.
• Les moniteurs d'événements suivent l'état de sommeil du moteur physique et se désactivent pour les objets au repos, ce qui, selon les auteurs, permet au système de passer à des milliers d'objets en temps réel.

Principaux résultats

• L'article ne rapporte aucune évaluation quantitative de la précision ou des temps ; ses résultats sont des démonstrations qualitatives et des exemples de requêtes.
• Une assiette garnie soulevée par une saisie latérale à une main pivote hors de la main sous son poids, tandis qu'une saisie à deux mains la soulève avec succès.
• Les actions de pick-and-place sont segmentées en ligne en phases d'approche, de fixation, de glissement ou de prélèvement, de transport et de dépose, présentées dans la Fig. 5 (a)–(j).
• Des requêtes KnowRob retrouvent et rejouent des actions de glissement sur une boîte de céréales, des saisies de poignées faisant partie d'une porte de réfrigérateur et des actions de pick-and-place composées de sous-actions.
• Les collections MongoDB par épisode sont indexées en arbres B une fois l'épisode terminé, ce qui donne un temps de recherche en O(log n).

Limites

• Le suivi du corps entier est unidirectionnel : l'avatar peut pousser des objets mais ne reçoit aucun retour, si bien qu'un utilisateur peut traverser des murs ou des meubles et déstabiliser la simulation (selon les auteurs).
• Le début de l'approche et la fin du prélèvement n'ont pas de caractéristiques distinctes et sont approximés par des régions d'intérêt (selon les auteurs).
• Le détecteur de saisie ne distingue pas le contexte de la saisie, par exemple porter un objet ou tenir une poignée de tiroir ou un meuble immobile (selon les auteurs).
• Le regard est enregistré mais pas encore utilisé pour affiner la détection des actions, et le grand jeu de données public reste un travail futur (selon les auteurs).
• Aucune expérience sur robot ni aucune évaluation quantitative de la détection d'événements ne sont rapportées.

Impact sur le domaine

L'article a été finaliste du IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) et compte 11 citations. Il ne mentionne pas de publication du code ou des données ; il cite la publication d'un grand jeu de données via openEASE comme travail futur.

Résumé

Dans cet article, nous présentons un système capable de collecter et d'annoter des activités quotidiennes réalisées par des humains et compréhensibles par des robots, à partir d'environnements virtuels. Les mouvements humains sont transposés dans le monde simulé à l'aide de dispositifs de réalité virtuelle du commerce dotés de capacités de suivi du corps entier et du regard. Toutes les interactions dans le monde virtuel sont simulées physiquement, de sorte que les mouvements et leurs effets peuvent être étroitement rapportés au monde réel. Pendant l'exécution de l'activité, un enregistreur de données sous-symbolique enregistre l'environnement et le regard humain image par image, ce qui permet la reproduction et la relecture hors ligne des scènes. Couplés au moteur physique, des moniteurs en ligne (enregistreurs de données symboliques) analysent (à l'aide de diverses grammaires) et enregistrent les événements, les actions et leurs effets dans le monde simulé.

Liens

• arXiv 2011.13689: https://arxiv.org/abs/2011.13689
• DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
• PDF: https://arxiv.org/pdf/2011.13689v1