FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Auteurs: Huy Ha, Shuran Song · CoRL 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un robot à deux bras apprend, de manière auto-supervisée, où saisir un tissu froissé pour un mouvement fixe saisir-étirer-projeter, et surpasse le pick & place quasi statique en couverture et en nombre d'étapes.

Pourquoi c'est important

L'article montre qu'une seule primitive apprise à haute vitesse peut déplier un tissu en quelques actions, traiter un tissu plus grand que la portée et se transférer des rectangles aux T-shirts. Le système réel détecte un tissu tendu avec une seconde caméra RGB-D au lieu de capteurs de force, et le signal d'entraînement provient d'un masque issu d'une caméra en vue de dessus, ce qui garde le matériel simple.

Problème

La plupart des systèmes de dépliage de tissus utilisent des actions quasi statiques à un seul bras, comme le pick & place, qui exigent de nombreuses interactions sur un tissu très froissé et ne peuvent pas traiter un tissu plus grand que la portée du bras. Les méthodes heuristiques fondées sur les coins, les bords ou les plis échouent lorsque ces points clés sont occultés, non visibles ou absents sur un tissu non carré.

Solution proposée

FlingBot fixe une primitive de mouvement à deux bras (saisie en pince par le dessus en deux points, levée à 0,30 m et étirement jusqu'à tension, projection vers l'avant de 0,70 m à 1,4 m/s, recul de 0,50 m, dépose) et n'apprend que l'endroit où saisir, paramétré par un pixel central, un angle et une largeur, de sorte que les contraintes d'ordre des bras et de largeur de saisie restent linéaires et indépendantes. Un réseau de valeur prédit la couverture delta par pixel sur une image en vue de dessus à 12 rotations et 8 échelles (cartes d'action spatiales) ; il est entraîné de manière auto-supervisée dans un simulateur sur mesure basé sur PyFleX, puis affiné sur deux bras UR5 réels.

Idées clés

• Fixer le mouvement d'étirement et de projection réduit l'apprentissage au choix de deux points de saisie ; apprendre aussi la vitesse de projection (FlingBot-S) n'a apporté aucun gain significatif.
• Paramétrer la saisie à deux bras par un centre, un angle dans [−90°, 90°] et une largeur rend les contraintes gauche-de-droite et de distance entre bras linéaires et indépendantes.
• Exploiter l'équivariance en translation, en rotation et en échelle au moyen de cartes d'action spatiales (spatial action maps) est essentiel : la régression directe des paramètres de saisie (Fling-Reg) n'a atteint que +0,3 % de couverture delta sur les rectangles normaux.
• Par essais et erreurs, la politique a appris à saisir les coins et les bords visibles, ou à projeter le tissu pour les faire apparaître, une stratégie que les méthodes heuristiques antérieures concevaient à la main.
• La projection étend la portée effective, de sorte qu'un tissu plus grand que la portée des bras peut tout de même être déplié.

Principaux résultats

• Simulation, rectangles normaux (couverture finale / delta) : FlingBot 91,9 % / +63,1 % contre Pick&Place 53,0 / +24,2, Pick&Drag 58,0 / +29,2 et Stretch&Drag 77,2 / +48,4.
• Plus de 80 % de couverture en 3 actions sur des tissus rectangulaires normaux inédits en simulation.
• Grands rectangles au-delà de la portée : 79,2 % de couverture finale et +52,0 % de couverture delta, environ le double des baselines quasi statiques (+24,8 %, +27,1 %, +23,1 %).
• T-shirts, non vus à l'entraînement : 93,3 % de couverture finale / +46,8 % delta en simulation.
• Système réel à deux UR5, 10 épisodes de test par type de tissu : couverture finale de 81,9 %, 88,5 % et 89,2 % sur rectangle normal, grand rectangle et chemise, contre 43,2 %, 38,4 % et 42,7 % pour Pick&Place ; l'affinage a fait passer la couverture du tissu normal de 69,8 % à 81,9 %.
• Temps médian par primitive de projection de 16,7 s contre 8,8 s pour le pick & place, plus des surcoûts de 2,5 s et 2,9 s pour les deux.

Limites

• Des travaux futurs sont nécessaires pour des tâches sur tissu plus complexes et conditionnées par un but, comme le pliage, que les auteurs proposent d'aborder en combinant actions dynamiques et quasi statiques avec une estimation de la pose du tissu.
• Les expériences utilisent un espace de travail noir uni et des tissus colorés non texturés pour faciliter le masquage ; des textures arbitraires nécessiteraient d'ajouter une segmentation ou une soustraction de fond.
• Les résultats réels sont moyennés sur 10 épisodes de test par type de tissu, les erreurs de saisie en conditions réelles étant filtrées.
• Une projection prend plus de temps qu'un pick & place (médiane de 16,7 s contre 8,8 s), même si elle nécessite moins d'actions.
• Le dispositif réel reposait sur un tapis en caoutchouc de 2 pouces et des protections en caoutchouc sur les doigts de la pince pour faciliter les saisies en pince, et l'entraînement jusqu'à convergence a pris environ 6 jours sur une GTX 1080 Ti.

Impact sur le domaine

Lauréat du CoRL 2021 Best System Paper Award, avec 229 citations selon le chiffre indiqué. Les auteurs publient le code, l'environnement de simulation, les données et les vidéos des expériences via la page du projet, y compris un simulateur sur mesure basé sur PyFleX qui charge des maillages de tissu arbitraires.

Résumé

Les actions dynamiques à haute vitesse (par exemple, secouer d'un coup sec ou lancer) jouent un rôle crucial dans nos interactions quotidiennes avec les objets déformables, en améliorant notre efficacité et en étendant effectivement notre portée physique. Pourtant, la plupart des travaux antérieurs ont abordé la manipulation de tissus en utilisant exclusivement des actions quasi statiques à un seul bras, ce qui exige un grand nombre d'interactions pour les configurations initiales difficiles du tissu et limite strictement la taille maximale du tissu à la portée du robot. Dans ce travail, nous démontrons l'efficacité des actions dynamiques de projection (fling) pour le dépliage de tissus avec notre cadre d'apprentissage auto-supervisé proposé, FlingBot. Notre approche apprend à déplier une pièce de tissu à partir de configurations initiales arbitraires en utilisant une primitive de saisie, d'étirement et de projection pour un dispositif à deux bras, à partir d'observations visuelles. Le système final atteint plus de 80 % de couverture en 3 actions sur des tissus nouveaux, peut déplier des tissus plus grands que la portée du système et généralise aux T-shirts bien qu'il n'ait été entraîné que sur des tissus rectangulaires. Nous avons également affiné FlingBot sur une plateforme robotique réelle à deux bras, où il a augmenté la couverture du tissu de plus de 4 fois plus que la baseline quasi statique. La simplicité de FlingBot, combinée à ses performances supérieures aux baselines quasi statiques, démontre l'efficacité des actions dynamiques pour la manipulation d'objets déformables.

Liens

• arXiv 2105.03655: https://arxiv.org/abs/2105.03655
• DOI 10.48550/arXiv.2105.03655: https://doi.org/10.48550/arXiv.2105.03655
• PDF: https://proceedings.mlr.press/v164/ha22a/ha22a.pdf
• Code: https://github.com/columbia-ai-robotics/flingbot
• Page du projet: https://flingbot.cs.columbia.edu/