ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Auteurs: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Modélise le mouvement des deux mains comme une liaison hélicoïdale à 1-DoF, l'extrait d'une seule vidéo RGB-D humaine et l'affine sur un Tiago++ par recherche dans l'espace des mouvements hélicoïdaux ; 16 essais sur 18 réussissent sur six tâches.

Pourquoi c'est important

La méthode nécessite une vidéo RGB-D par tâche et aucun dispositif de téléopération, de capture de mouvement ni de simulateur. Restreindre l'exploration à un axe hélicoïdal a transformé trois tâches qui échouaient avec une exploration de points de passage 6-DoF en réussites en 25 épisodes sur robot réel.

Problème

La manipulation bimanuelle exige deux bras synchronisés dans l'espace et dans le temps, ce qui donne un grand espace d'actions où l'exploration aléatoire sur matériel réel est irréaliste. Les vidéos humaines sont une source de démonstrations bon marché, mais le suivi des mains est bruité et les corps humain et robotique diffèrent, si bien que les mouvements rejoués échouent et doivent être affinés, ce qui ramène le grand espace de recherche.

Solution proposée

S'inspirant de travaux de biomécanique qui modélisent les deux mains comme une chaîne cinématique série, ScrewMimic définit une action hélicoïdale : des points de préhension pour chaque main, un axe hélicoïdal à 1-DoF (prismatique, rotoïde, ou rotoïde à orientation fixe) pour le mouvement de la main droite par rapport à la gauche, et une trajectoire facultative de la main gauche. Il l'extrait d'une seule vidéo RGB-D à l'aide d'un détecteur main-objet et de FrankMocap, entraîne des modèles PointNet sur des nuages de points augmentés géométriquement pour la prédire pour de nouvelles poses d'objets, et affine les prédictions qui échouent par la méthode de l'entropie croisée dans l'espace des axes hélicoïdaux, avec une récompense autogénérée à partir de la durée de l'épisode et des mesures force-couple au poignet. Les actions réussies sont réintégrées pour réentraîner le prédicteur.

Idées clés

• De nombreuses tâches à deux mains, avec une liaison physique (bouteille, ordinateur portable, rouleau) ou sans (remuer, couper, fermer une fermeture éclair), peuvent être décrites par une seule liaison hélicoïdale virtuelle à 1-DoF entre les mains.
• Projeter des trajectoires bruitées de suivi des mains sur un axe hélicoïdal nettoie la démonstration avant que le robot ne l'utilise.
• Explorer sur les paramètres de l'axe hélicoïdal plutôt que sur des points de passage N×6-DoF rend l'affinage sur robot réel faisable en 25 épisodes.
• Les deux termes de récompense sont nécessaires : sans détection de perte de prise ni classement par torseur moyen, l'ouverture de bouteille et le remuage échouaient.
• Les actions affinées réussies peuvent servir à réentraîner le prédicteur, qui réussit ensuite presque en zero-shot sur le même objet et s'adapte à de nouvelles instances de la catégorie.

Principaux résultats

• Nouvelles poses d'objets (tableau I) : ouvrir une bouteille 2/3, fermer une fermeture éclair 3/3, insérer un rouleau 3/3, fermer un ordinateur portable 3/3, remuer 2/3, couper 3/3, soit 16 essais sur 18, ce que l'article rapporte comme 90 % de réussite globale.
• Les essais réussis ont nécessité en moyenne 7 à 18 épisodes (1 à 3 époques de 5 épisodes), avec un plafond de 25 épisodes ; l'affinage prend environ 40 minutes.
• Ablation de l'espace d'actions (tableau III) : l'exploration dans l'espace des mouvements hélicoïdaux a réussi sur la bouteille, le rouleau et l'ordinateur portable après 16, 7 et 11 épisodes sur 25 ; les explorations FM + N×6-DoF (à la DEFT) et Screw + N×6-DoF ont échoué sur les trois en 25 épisodes, atteignant 0–50 % d'achèvement de la tâche.
• Réentraînement sur l'action corrigée (tableau II) : sur le même objet, ouvrir une bouteille est passé de 3 époques/16 épisodes à 0/1 et insérer un rouleau de 1/7 à 0/2 ; sur une nouvelle bouteille, le modèle réentraîné a eu besoin de 2/14, puis de 0/1 après un tour supplémentaire.
• Avec le bruit ajouté le plus fort (σ = 3,0 cm, 12,5°), l'axe extrait était décalé de 2,1 cm et 13,1°, et l'affinage a tout de même réussi après 4 époques et 21 épisodes.
• Un PointNet pré-entraîné sur ModelNet-40 a réduit l'erreur d'axe sur des bouteilles jamais vues (par ex. de 0,09 m, 6° à 0,03 m, 4,2°), tandis que l'erreur sur la bouteille d'entraînement restait la même.

Limites

• Un seul axe hélicoïdal ne convient pas aux tâches où les mains se déplacent selon plus d'un axe, comme couper en zigzag.
• Un modèle de prédiction distinct est entraîné pour chaque classe d'objets, ce qui limite la généralisation.
• La réussite des épisodes est notée manuellement, et un humain réinitialise la scène si nécessaire.
• Seul l'axe hélicoïdal est affiné, pas les points de contact de préhension ; les surfaces réfléchissantes comme l'ordinateur portable ont dû être recouvertes car le capteur de profondeur ne pouvait pas les voir sous tous les angles.
• Avec au plus 25 épisodes par essai, les résultats dépendent des premiers échantillons d'actions hélicoïdales ; les deux essais échoués se sont terminés sans trouver d'action réussie.

Impact sur le domaine

Finaliste du RSS 2024 Outstanding Student Paper Award, avec 44 citations. La page officielle du projet renvoie au code sur github.com/UT-Austin-RobIn/ScrewMimic.

Résumé

La manipulation bimanuelle est un défi de longue date en robotique en raison du grand nombre de degrés de liberté et de la stricte synchronisation spatiale et temporelle nécessaire pour produire un comportement pertinent. Les humains apprennent les gestes de manipulation bimanuelle en regardant d'autres humains et en affinant leurs capacités par le jeu. Dans ce travail, nous visons à permettre aux robots d'apprendre des comportements de manipulation bimanuelle à partir de démonstrations vidéo humaines et de les affiner par l'interaction. Inspirés par des travaux fondateurs en psychologie et en biomécanique, nous proposons de modéliser l'interaction entre deux mains comme une liaison cinématique série, plus précisément comme un mouvement hélicoïdal, que nous utilisons pour définir un nouvel espace d'actions pour la manipulation bimanuelle : les actions hélicoïdales. Nous présentons ScrewMimic, un cadre qui exploite cette nouvelle représentation des actions pour faciliter l'apprentissage à partir de démonstrations humaines et l'affinage auto-supervisé de la politique. Nos expériences montrent que ScrewMimic est capable d'apprendre plusieurs comportements bimanuels complexes à partir d'une seule démonstration vidéo humaine, et qu'il surpasse les méthodes de référence qui interprètent les démonstrations et affinent directement dans l'espace de mouvement d'origine des deux bras. Pour plus d'informations et les résultats en vidéo, https://robin-lab.cs.utexas.edu/ScrewMimic/

Liens

• arXiv 2405.03666: https://arxiv.org/abs/2405.03666
• DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
• PDF: https://arxiv.org/pdf/2405.03666v1
• Code: https://github.com/UT-Austin-RobIn/ScrewMimic
• Page du projet: https://robin-lab.cs.utexas.edu/ScrewMimic/