Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

Auteurs: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

HOPMan prédit, à l'aide de vidéos du web, les masques futurs de la main et de l'objet à partir d'une image de la scène et d'une image d'objectif, puis traduit ce plan en actions d'un Franka Panda, couvrant 16 compétences et 40 objets en zero-shot.

Pourquoi c'est important

L'essentiel des connaissances sur la façon dont les mains et les objets bougent provient de vidéos passives du web, de sorte que les données propres au robot restent peu nombreuses : les auteurs ont collecté 600 trajectoires appariées en environ 3 jours. Une seule politique conditionnée par un objectif est testée sur des instances d'objets inédites, des paires objet-compétence inédites, des catégories d'objets inédites et des compétences inédites, y compris sur une base mobile dans des cuisines et des bureaux non modifiés.

Problème

Collecter des données d'interaction robotique pour chaque tâche, chaque objet et chaque compétence ne passe pas à l'échelle, et les systèmes récents aux capacités étendues ont nécessité des années de données robotiques tout en restant largement limités à saisir, poser et pousser. Les méthodes qui utilisent des vidéos humaines pour des représentations visuelles ou des affordances nécessitent encore de nombreuses démonstrations robotiques ou un entraînement au moment du déploiement, et d'autres apprennent une politique distincte par tâche.

Solution proposée

La politique est factorisée en un modèle de diffusion conditionné par un objectif, qui prédit sept images futures de masques de la main et de l'objet à partir d'une image actuelle et d'une image d'objectif, entraîné sur environ 150 000 clips de deux secondes issus d'EPIC-KITCHENS et d'Ego4D, et une politique de traduction Transformer qui associe aux masques prédits et aux observations actuelles des actions 8-D (7 positions articulaires plus ouverture/fermeture de la pince). Le modèle de traduction est entraîné sur environ 400 trajectoires humain-robot appariées en laboratoire et 200 en milieu non contrôlé, plus environ 1000 trajectoires de robot seul dans lesquelles le robot est effacé par inpainting et une main humaine ajoutée par inpainting.

Idées clés

• Les masques sémantiques de la main et de l'objet manipulé forment un espace de plans compact qui écarte les détails de la scène sans rapport avec la tâche et peut être appris à partir de vidéos humaines non sélectionnées.
• Découper la politique en prédiction de plan et en traduction du plan en actions permet à la partie gourmande en données d'apprendre à partir de vidéos du web, tandis que la partie propre au robot n'a besoin que de peu de données appariées.
• Des paires hallucinées (vidéos de robot dans lesquelles le bras est remplacé par inpainting par une main humaine) ont amélioré le modèle de traduction lorsqu'elles ont été ajoutées aux données appariées réelles, bien qu'elles soient imparfaites.
• L'article propose une échelle de généralisation structurée : légère (nouvelles configurations d'objets et de compétences déjà vus), standard (nouvelles instances, combinaisons objet-compétence inédites) et forte (catégories d'objets inédites, compétences inédites).

Principaux résultats

• Taux de succès sur table (%) de HOPMan pour la généralisation légère / d'instance / de combinaison inédite / de catégorie inédite / de compétence inédite : 68 / 58 / 50 / 40 / 25 ; le BC conditionné par un objectif a obtenu 43 / 20 / 13 / 0 / 0 et VRB 50 / 25 / 15 / 0 / 0.
• Taux de succès en milieu non contrôlé (%) de HOPMan : 60 / 40 / 40 / 30 / 25, contre 45 / 10 / 10 / 0 / 0 pour BC et 50 / 15 / 10 / 0 / 0 pour la baseline MP fondée sur MimicPlay.
• H2R, entraîné uniquement sur des vidéos humaines passives, a obtenu 20 / 20 / 15 / 15 / 15 sur table et 15 / 10 / 15 / 15 / 10 en milieu non contrôlé ; c'était la seule baseline au-dessus de zéro en généralisation forte.
• Modèle de traduction seul, avec les masques main-objet de vérité terrain (%) : données appariées plus hallucinées 85 / 65 / 60 / 60 / 25, appariées seules 85 / 60 / 50 / 30 / 15, hallucinées seules 30 / 25 / 25 / 20 / 0.
• L'évaluation couvre environ 100 tâches construites à partir de 16 compétences et de 40 types d'objets comptant chacun 2 à 3 instances.

Limites

• Les auteurs indiquent que les tâches inédites traitées restent limitées en complexité, et laissent à des travaux futurs les tâches à long horizon qui combinent plusieurs compétences.
• Ils s'attendent à ce que le cadre peine en manipulation dextre, car retrouver l'articulation précise de la main et des doigts à partir de vidéos du web reste un problème ouvert.
• Le succès en généralisation forte reste de 25 à 40 % sur table et de 25 à 30 % en milieu non contrôlé.
• Le succès est jugé en inspectant manuellement à quel point la configuration finale de l'objet est proche de l'image d'objectif, et le nombre d'essais par configuration n'est pas indiqué.

Impact sur le domaine

Finaliste du prix IEEE ICRA 2024 Best Paper Award in Robot Manipulation, avec 82 citations. L'article renvoie à un site web de projet avec des vidéos de robot ; il ne fournit pas de dépôt de code.

Résumé

Nous poursuivons l'objectif de développer des robots capables d'interagir zero-shot avec des objets génériques inédits grâce à un répertoire varié de compétences de manipulation, et nous montrons comment des vidéos humaines passives peuvent constituer une riche source de données pour l'apprentissage de tels robots généralistes. Contrairement aux approches habituelles d'apprentissage robotique, qui apprennent directement à partir de données d'interaction comment un robot doit agir, nous adoptons une approche factorisée qui peut exploiter des vidéos humaines à grande échelle pour apprendre comment un humain accomplirait une tâche souhaitée (un « plan » humain), puis « traduire » ce plan vers l'incarnation du robot. Plus précisément, nous apprenons un « prédicteur de plan » humain qui, étant donné une image actuelle d'une scène et une image d'objectif, prédit les configurations futures de la main et de l'objet. Nous combinons cela avec un module de « traduction » qui apprend une politique de manipulation robotique conditionnée par le plan, et qui permet de suivre des plans humains pour des tâches de manipulation génériques de manière zero-shot, sans entraînement au moment du déploiement. Point important, alors que le prédicteur de plan peut exploiter des vidéos humaines à grande échelle pour l'apprentissage, le module de traduction ne nécessite qu'une petite quantité de données dans le domaine et peut généraliser à des tâches non vues pendant l'entraînement. Nous montrons que notre système appris peut réaliser plus de 16 compétences de manipulation qui généralisent à 40 objets, couvrant 100 tâches réelles de manipulation sur table et de manipulation variée en milieu non contrôlé. https://homangab.github.io/hopman/

Liens

• arXiv 2312.00775: https://arxiv.org/abs/2312.00775
• DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
• PDF: https://arxiv.org/pdf/2312.00775v1
• Page du projet: https://homangab.github.io/hopman/