APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

Auteurs: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

APriCoT découpe une reprise en main en quatre courtes primitives RL construites à partir du détachement, du croisement et de l'attachement, de sorte qu'une Shadow Hand Lite simulée fait faire un demi-tour à un objet et atteint la prise cible.

Pourquoi c'est important

La plupart des méthodes apprises de manipulation dans la main ne récompensent que la rotation et ne vérifient pas la prise finale, qui détermine si l'outil peut ensuite être utilisé. L'article montre que la décomposition par état de contact rend cette tâche apprenable là où deux références publiées ont échoué. Comme la récompense est partagée entre les primitives, de nouvelles transitions peuvent être ajoutées sans nouvelle conception de récompense.

Problème

La manipulation d'outils dans la main doit à la fois déplacer un outil dans la main et se terminer dans une prise adaptée à la tâche suivante, par exemple tenir une boîte de façon que son ouverture soit dégagée pour verser. L'apprendre par RL est difficile, car la prise cible n'est atteinte qu'après de nombreux changements d'état de contact, ce qui rend la récompense rare, et parce que les mouvements de doigts requis varient fortement selon l'état de contact, imposant une exploration large et peu efficace en échantillons.

Solution proposée

APriCoT construit un graphe de transitions d'état de contact à partir de trois représentations d'action (détacher, croiser, attacher), en n'autorisant que les états avec une prise préhensile, au moins trois doigts en contact et des doigts maintenus dans l'ordre pouce-index-majeur-annulaire. La tâche cible, faire tourner d'un demi-tour un objet allongé et revenir à une prise de précision, se divise en quatre primitives qui font chacune passer un doigt de l'autre côté de l'objet, avec une politique par primitive, une récompense par étapes partagée, et chaque politique partant des états de sortie de la précédente. Les politiques sont entraînées dans Isaac Gym par PPO dans un dispositif enseignant-élève, où l'élève infère la forme de l'objet à partir des angles articulaires commandés et mesurés.

Idées clés

• Décrire une reprise en main comme des transitions d'état de contact transforme une tâche longue à récompense rare en courtes primitives dans lesquelles les doigts effectuent des mouvements similaires.
• Commencer et terminer chaque primitive dans l'état le plus stable, avec tous les doigts sur l'objet, rend les états initiaux faciles à échantillonner en simulation et faciles à enchaîner entre politiques.
• Entraîner chaque primitive sur toute la séquence détacher-croiser-attacher, plutôt que chaque étape séparément, évite les mouvements inutiles comme lever un doigt trop haut avant le croisement.
• La différence entre angles articulaires commandés et mesurés permet à la politique élève d'encoder la forme de l'objet ; un t-SNE de ses variables latentes se regroupe par forme.

Principaux résultats

• Les deux références ont échoué : une méthode de rotation dans la main modifiée (Baseline A) a fait tourner l'objet sans atteindre la prise souhaitée, et une méthode pour objets pinçables (Baseline B) a fait rouler l'objet pendant le croisement et l'a fait tomber.
• APriCoT a accompli la rotation d'un demi-tour et atteint la prise de précision souhaitée ; l'introduction rapporte un taux de réussite de 90 % pour des objets de formes variées.
• Dans le test de robustesse (1 000 états initiaux échantillonnés par forme, profondeur 0,02-0,035 m, ε2 de ≃0 à 1), la section IV-B rapporte une réussite supérieure à 90 % pour presque toutes les formes, avec des taux similaires sur des formes non utilisées à l'entraînement.
• La section IV-B rapporte aussi environ 75 % de réussite pour des objets elliptiques épais (grande profondeur, ε2 élevé), ce que les auteurs attribuent à la courbure qui les fait glisser latéralement.
• L'entraînement a utilisé 32 768 environnements parallèles dans Isaac Gym sur un GPU NVIDIA RTX 3090, avec une simulation à 120 Hz et une commande à 20 Hz.

Limites

• Toutes les expériences sont en simulation ; les auteurs s'attendent à ce que la randomisation de domaine et l'apprentissage enseignant-élève facilitent le transfert sim-to-real, mais ne l'ont pas testé sur matériel.
• La pose de l'objet, comme la rotation en roulis, ne peut être détectée à partir des seuls angles articulaires, et ne pas la détecter peut déstabiliser l'objet et le faire tomber ; les auteurs prévoient d'ajouter des informations visuelles.
• Se concentrer uniquement sur les transitions d'état de contact ne garantit pas une orientation souhaitée de l'objet après la manipulation.
• Le graphe de transitions d'état de contact est conçu à la main, ce que les auteurs jugent laborieux sur de nombreuses opérations.
• Une seule opération (un demi-tour pour revenir à une prise de précision, quatre primitives) est démontrée.

Impact sur le domaine

Lauréat du Humanoids 2024 Best Oral Presentation Award et cité 2 fois. L'article indique ses hyperparamètres de récompense, ses plages de randomisation et la taille de ses réseaux. Il ne mentionne aucune publication de code ni de modèle.

Résumé

La manipulation d'outils dans la main est une opération qui non seulement manipule un outil au sein de la main (c'est-à-dire la manipulation dans la main), mais obtient aussi, après la manipulation, une prise adaptée à une tâche. Cette étude vise à acquérir une compétence de manipulation d'outils dans la main par apprentissage par renforcement profond. La difficulté d'apprentissage de cette compétence vient de ce que cette manipulation exige (A) d'explorer des changements d'état de contact à long terme pour obtenir la prise souhaitée et (B) des mouvements très variés selon la transition d'état de contact. (A) entraîne une rareté de la récompense liée à une prise réussie, et (B) oblige un agent RL à explorer largement l'espace état-action pour apprendre des actions très variées, ce qui conduit à une faible efficacité en échantillons. Pour résoudre ces problèmes, cette étude propose Action Primitives based on Contact-state Transition (APriCoT). APriCoT décompose la manipulation en primitives d'action à court terme en décrivant l'opération comme une transition d'état de contact fondée sur trois représentations d'action (détacher, croiser, attacher). Dans chaque primitive d'action, les doigts doivent effectuer des actions courtes et similaires. En entraînant une politique pour chaque primitive, nous pouvons atténuer les problèmes liés à (A) et (B). Cette étude se concentre sur une opération fondamentale comme exemple de manipulation d'outils dans la main : faire tourner d'un demi-tour un objet allongé tenu en prise de précision pour retrouver la prise initiale. Les résultats expérimentaux ont montré que notre méthode a réussi à la fois la rotation et l'obtention de la prise souhaitée, contrairement aux études existantes. En outre, il est apparu que la politique était robuste aux changements de forme de l'objet.

Liens

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1