HumanPlus: Humanoid Shadowing and Imitation from Humans

Auteurs: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une politique RL entraînée sur 40 h de mouvements humains permet à un humanoïde à 33-DoF d'imiter un opérateur filmé par une seule caméra RGB ; ces données de téléopération entraînent ensuite des politiques de compétences visuelles avec 60–100 % de réussite.

Pourquoi c'est important

Le dispositif de téléopération nécessite un opérateur et une caméra RGB (indiquée à $50 dans la comparaison de l'article) et commande ensemble le corps et les mains, accroupissement et marche compris. Les équipes travaillant avec des humanoïdes disposent d'un chemin allant de démonstrations corps entier peu coûteuses à des compétences autonomes, sans construire une simulation spécifique pour chaque compétence.

Problème

Les humanoïdes pourraient en principe apprendre à partir de grandes quantités de données de mouvement humain, mais les différences de morphologie et d'actionnement, la difficulté de la perception et de la commande du corps entier, et l'absence d'une chaîne de données corps entier accessible l'ont empêché. La téléopération d'humanoïdes antérieure reposait sur des combinaisons de capture de mouvement, des exosquelettes ou des casques de réalité virtuelle (VR), que les auteurs décrivent comme coûteux et limités quant aux lieux où ils peuvent être utilisés.

Solution proposée

Une politique de bas niveau à transformer décodeur seul (Humanoid Shadowing Transformer) est entraînée par PPO en simulation sur des poses humaines AMASS reciblées vers le robot, puis déployée en zero-shot à 50 Hz avec un contrôleur PD à 1000 Hz. La pose du corps (WHAM) et celle des mains (HaMeR), estimées à partir d'une seule caméra RGB, sont reciblées en temps réel, de sorte qu'un seul opérateur pilote tout le robot pendant que deux caméras sur la tête enregistrent des données égocentriques. Un Humanoid Imitation Transformer à décodeur seul, adapté d'ACT, est entraîné sur ces démonstrations et ajoute une perte L2 sur les caractéristiques d'images futures prédites pour empêcher la politique d'ignorer la vision.

Idées clés

• Une seule politique de bas niveau indépendante de la tâche, conditionnée par des poses cibles et entraînée sur des mouvements humains reciblés, remplace la conception de récompenses par compétence et se transfère en zero-shot sur le matériel.
• Le shadowing à partir d'une caméra RGB permet à un seul opérateur de commander à la fois le corps et les mains ; les références kinesthésique, de type ALOHA et Meta Quest nécessitaient au moins deux opérateurs et ne permettaient pas la commande du corps entier.
• Prédire des tokens de caractéristiques d'images futures en même temps que les actions empêche une politique visuelle de surapprendre la proprioception ; ACT sans cette prédiction restait bloqué à répéter des sous-tâches déjà accomplies.
• L'entrée binoculaire compte lorsque la profondeur compte : la variante monoculaire a totalement échoué sur Wear a Shoe and Walk et a manipulé la table de façon brusque sur Fold Clothes.

Principaux résultats

• Réussite de la tâche complète pour la politique d'imitation : Fold Clothes 100 %, Rearrange Objects 90 %, Type "AI" 80 %, Two-Robot Greeting 90 %, Warehouse 90 %, Wear a Shoe and Walk 60 %, avec 25–40 démonstrations par tâche.
• Wear a Shoe and Walk (40 démonstrations) : 60 % pour HIT contre 0 % pour la variante monoculaire, ACT et la relecture en boucle ouverte ; ACT a aussi obtenu 0 % sur Type "AI" mais a égalé HIT sur Fold Clothes, Warehouse et Two-Robot Greeting.
• Étude utilisateur à six participants : le temps de tâche complète sur Rearrange Objects était de 5,20 s avec le shadowing contre 6,60 s en kinesthésique, 7,15 s de type ALOHA et 8,87 s avec Meta Quest ; seul le shadowing permettait la tâche accroupie Rearrange Lower Objects (15,34 s).
• Tests de poussée au bassin : la politique apprise a résisté à 32/44/70/100 N (avant/arrière/gauche/droite) contre 24/36/40/40 N pour le contrôleur par défaut du H1, et a récupéré en 1,2 s contre 15 s.
• La politique apprise s'accroupit jusqu'à 0,44 m (contrôleur par défaut 0,85 m), saute 0,35 m (par défaut 0 m) et se lève d'une chaise, ce dont le contrôleur par défaut est incapable.
• L'estimation de la pose du corps et le reciblage tournent à 25 fps et la pose des mains à 10 fps sur une RTX 4090 ; la politique d'imitation tourne à bord à 25 Hz et alimente la politique de bas niveau à 50 Hz.

Limites

• Le matériel a moins de DoF qu'un humain : des chevilles à 1-DoF empêchent des mouvements comme lever et secouer une jambe, et des bras à 5-DoF (poignet compris) limitent la commande dans l'espace opérationnel à 6-DoF et laissent des régions inatteignables pendant le shadowing.
• Les caméras égocentriques sont fixées sur la tête et non actives, si bien que les mains et les interactions peuvent sortir du champ.
• Une correspondance de reciblage fixe supprime les articulations humaines que le robot ne possède pas, ce qui peut restreindre l'apprentissage à un sous-ensemble des mouvements humains.
• L'estimation de pose échoue en cas de fortes occultations, ce qui limite les endroits où l'opérateur peut se tenir ; l'opérateur dépend aussi d'une ligne de vue directe sur le robot.
• La navigation à long horizon n'est pas traitée ; les auteurs indiquent qu'elle nécessiterait beaucoup plus de démonstrations et un suivi de vitesse précis en conditions réelles.

Impact sur le domaine

Finaliste du CoRL 2024 Outstanding Paper Award, avec 442 citations. La page officielle du projet renvoie au code sur github.com/MarkFzp/humanplus.

Résumé

L'un des principaux arguments en faveur de robots ayant une morphologie proche de celle des êtres humains est que nous pouvons exploiter les données humaines massives pour l'entraînement. Pourtant, y parvenir reste difficile en pratique en raison de la complexité de la perception et de la commande des humanoïdes, des écarts physiques persistants entre humanoïdes et humains en matière de morphologie et d'actionnement, et de l'absence de chaîne de données permettant aux humanoïdes d'apprendre des compétences autonomes à partir d'une vision égocentrique. Dans cet article, nous présentons un système complet permettant aux humanoïdes d'apprendre des mouvements et des compétences autonomes à partir de données humaines. Nous entraînons d'abord une politique de bas niveau en simulation par apprentissage par renforcement, à l'aide de jeux de données existants de 40 heures de mouvements humains. Cette politique se transfère au monde réel et permet aux robots humanoïdes de suivre en temps réel les mouvements du corps et des mains d'un humain à l'aide d'une seule caméra RGB, c'est-à-dire le shadowing. Grâce au shadowing, des opérateurs humains peuvent téléopérer les humanoïdes pour collecter des données corps entier afin d'apprendre différentes tâches dans le monde réel. À partir des données collectées, nous effectuons ensuite un clonage de comportement supervisé pour entraîner des politiques de compétences fondées sur la vision égocentrique, permettant aux humanoïdes d'accomplir différentes tâches de manière autonome en imitant les compétences humaines. Nous démontrons le système sur notre humanoïde personnalisé à 33-DoF de 180cm, qui accomplit de manière autonome des tâches comme enfiler une chaussure pour se lever et marcher, décharger des objets de rayonnages d'entrepôt, plier un sweat-shirt, réorganiser des objets, taper au clavier et saluer un autre robot, avec des taux de réussite de 60-100 % en utilisant au plus 40 démonstrations. Site du projet : https://humanoid-ai.github.io/

Liens

• arXiv 2406.10454: https://arxiv.org/abs/2406.10454
• DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
• PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
• Code: https://github.com/MarkFzp/humanplus
• Page du projet: https://humanoid-ai.github.io/