HumanPlus: Humanoid Shadowing and Imitation from Humans

Autores: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma política de RL treinada com 40 h de movimento humano permite que um humanoide de 33-DoF copie um operador captado por uma única câmera RGB; esses dados de teleoperação depois treinam políticas de habilidades com visão com 60–100 % de sucesso.

Por que importa

A configuração de teleoperação precisa de um operador e de uma câmera RGB (listada a $50 na comparação do artigo) e controla corpo e mãos juntos, incluindo agachar e andar. Equipes que trabalham com humanoides ganham um caminho de demonstrações de corpo inteiro de baixo custo até habilidades autônomas sem construir uma simulação específica para cada habilidade.

Problema

Em princípio, humanoides poderiam aprender com grandes quantidades de dados de movimento humano, mas diferenças de morfologia e atuação, a dificuldade da percepção e do controle de corpo inteiro e a falta de um pipeline acessível de dados de corpo inteiro impediram isso. A teleoperação de humanoides anterior dependia de trajes de captura de movimento, exoesqueletos ou headsets de VR, que os autores descrevem como caros e restritos quanto aos lugares onde podem ser usados.

Solução proposta

Uma política de baixo nível baseada em um transformador apenas decodificador (Humanoid Shadowing Transformer) é treinada com PPO em simulação com poses humanas do AMASS redirecionadas para o robô e depois implantada zero-shot a 50 Hz com um controlador PD de 1000 Hz. A pose do corpo (WHAM) e a pose das mãos (HaMeR), estimadas a partir de uma única câmera RGB, são redirecionadas em tempo real, de modo que um operador conduz o robô inteiro enquanto duas câmeras na cabeça registram dados egocêntricos. Um Humanoid Imitation Transformer apenas decodificador, adaptado do ACT, é treinado com essas demonstrações e acrescenta uma perda L2 sobre as características de imagens futuras previstas para evitar que a política ignore a visão.

Principais ideias

Uma única política de baixo nível independente de tarefa, condicionada a poses-alvo e treinada com movimento humano redirecionado (retargeting), substitui a engenharia de recompensas por habilidade e é transferida zero-shot para o hardware.
O shadowing a partir de uma câmera RGB permite que um único operador controle corpo e mãos ao mesmo tempo; as baselines cinestésica, no estilo ALOHA e com Meta Quest precisavam de dois ou mais operadores e não ofereciam controle de corpo inteiro.
Prever tokens de características de imagens futuras junto com as ações impede que uma política de visão sofra overfitting à propriocepção; o ACT sem isso ficava preso repetindo subtarefas que já havia concluído.
A entrada binocular importa quando a profundidade importa: a variante monocular falhou completamente em Wear a Shoe and Walk e lidou com a mesa de forma brusca em Fold Clothes.

Principais resultados

Sucesso na tarefa completa da política de imitação: Fold Clothes 100 %, Rearrange Objects 90 %, Type "AI" 80 %, Two-Robot Greeting 90 %, Warehouse 90 %, Wear a Shoe and Walk 60 %, usando 25–40 demonstrações por tarefa.
Wear a Shoe and Walk (40 demonstrações): 60 % para o HIT contra 0 % da variante monocular, do ACT e da reprodução em malha aberta; o ACT também obteve 0 % em Type "AI", mas igualou o HIT em Fold Clothes, Warehouse e Two-Robot Greeting.
Estudo com seis participantes: o tempo da tarefa completa em Rearrange Objects foi de 5,20 s com shadowing contra 6,60 s cinestésico, 7,15 s no estilo ALOHA e 8,87 s com Meta Quest; só o shadowing conseguiu fazer a tarefa com agachamento Rearrange Lower Objects (15,34 s).
Testes de empurrão na pelve: a política aprendida resistiu a 32/44/70/100 N (para frente/para trás/para a esquerda/para a direita) contra 24/36/40/40 N do controlador padrão do H1, e se recuperou em 1,2 s contra 15 s.
A política aprendida agacha até 0,44 m (controlador padrão 0,85 m), salta 0,35 m (padrão 0 m) e se levanta de uma cadeira, o que o controlador padrão não consegue.
A estimativa e o retargeting da pose do corpo rodam a 25 fps e a pose das mãos a 10 fps em uma RTX 4090; a política de imitação roda embarcada a 25 Hz, alimentando a política de baixo nível de 50 Hz.

Limitações

O hardware tem menos DoF que um ser humano: tornozelos de 1-DoF impedem movimentos como levantar e sacudir uma perna, e braços de 5-DoF (incluindo o punho) limitam o controle no espaço operacional de 6-DoF e deixam regiões inalcançáveis durante o shadowing.
As câmeras egocêntricas são fixas na cabeça e não são ativas, então as mãos e as interações podem sair do campo de visão.
Um mapa de retargeting fixo descarta articulações humanas que o robô não tem, o que pode restringir o aprendizado a um subconjunto dos movimentos humanos.
A estimativa de pose falha com grandes oclusões, o que limita onde o operador pode ficar; o operador também depende de linha de visão até o robô.
A navegação de horizonte longo não é tratada; os autores afirmam que ela exigiria muito mais demonstrações e um rastreamento preciso da velocidade no mundo real.

Impacto na área

Finalista do CoRL 2024 Outstanding Paper Award, com 442 citações. A página oficial do projeto traz o link do código em github.com/MarkFzp/humanplus.

Resumo

Um dos principais argumentos para construir robôs com formatos semelhantes aos dos seres humanos é que podemos aproveitar a enorme quantidade de dados humanos para o treinamento. No entanto, fazer isso continua sendo difícil na prática por causa das complexidades da percepção e do controle de humanoides, das diferenças físicas persistentes entre humanoides e humanos em morfologia e atuação, e da falta de um pipeline de dados para que humanoides aprendam habilidades autônomas a partir de visão egocêntrica. Neste artigo, apresentamos um sistema completo para que humanoides aprendam movimentos e habilidades autônomas a partir de dados humanos. Primeiro treinamos uma política de baixo nível em simulação por meio de aprendizado por reforço usando conjuntos de dados existentes de movimento humano de 40 horas. Essa política é transferida para o mundo real e permite que robôs humanoides sigam o movimento do corpo e das mãos de uma pessoa em tempo real usando apenas uma câmera RGB, ou seja, shadowing. Por meio do shadowing, operadores humanos podem teleoperar humanoides para coletar dados de corpo inteiro para aprender diferentes tarefas no mundo real. Com os dados coletados, realizamos em seguida clonagem de comportamento supervisionada para treinar políticas de habilidades usando visão egocêntrica, permitindo que os humanoides concluam diferentes tarefas de forma autônoma imitando habilidades humanas. Demonstramos o sistema em nosso humanoide personalizado de 33-DoF e 180cm, que conclui de forma autônoma tarefas como calçar um sapato para se levantar e andar, descarregar objetos de prateleiras de armazém, dobrar um moletom, reorganizar objetos, digitar e cumprimentar outro robô, com taxas de sucesso de 60-100 % usando até 40 demonstrações. Site do projeto: https://humanoid-ai.github.io/

Open Source Robotics