Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

Autores: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O HOPMan prevê máscaras futuras de mão e objeto a partir de uma imagem da cena e de uma imagem-objetivo usando vídeos da web e depois traduz esse plano em ações de um Franka Panda, cobrindo 16 habilidades e 40 objetos de forma zero-shot.

Por que importa

A maior parte do conhecimento sobre como mãos e objetos se movem vem de vídeos passivos da web, por isso os dados específicos do robô continuam poucos: os autores coletaram 600 trajetórias pareadas em cerca de 3 dias. Uma única política condicionada a objetivos é testada com instâncias de objetos não vistas, pares objeto-habilidade não vistos, categorias de objetos não vistas e habilidades não vistas, inclusive em uma base móvel em cozinhas e escritórios não modificados.

Problema

Coletar dados de interação robótica para cada tarefa, objeto e habilidade não escala, e sistemas recentes de capacidades amplas precisaram de anos de dados de robô, permanecendo em grande parte limitados a pegar, posicionar e empurrar. Métodos que usam vídeos humanos para representações visuais ou affordances ainda precisam de muitas demonstrações com robô ou de treinamento na implantação, e outros aprendem uma política separada por tarefa.

Solução proposta

A política é fatorada em um modelo de difusão condicionado a objetivos, que prevê sete quadros futuros de máscaras de mão e objeto a partir de uma imagem atual e de uma imagem-objetivo, treinado com cerca de 150.000 clipes de dois segundos do EPIC-KITCHENS e do Ego4D, e em uma política de tradução baseada em transformadores, que mapeia as máscaras previstas e as observações atuais para ações 8-D (7 posições das juntas mais abrir/fechar a garra). O modelo de tradução é treinado com cerca de 400 trajetórias pareadas humano-robô em laboratório e 200 em ambientes não controlados, mais cerca de 1000 trajetórias só de robô nas quais o robô é removido e uma mão humana é inserida via inpainting.

Principais ideias

Máscaras semânticas da mão e do objeto manipulado formam um espaço de planos compacto que descarta detalhes da cena irrelevantes para a tarefa e pode ser aprendido a partir de vídeos humanos não curados.
Dividir a política em previsão do plano e tradução do plano em ações permite que a parte que exige muitos dados aprenda com vídeos da web, enquanto a parte específica do robô precisa apenas de poucos dados pareados.
Pares alucinados (vídeos de robô com o braço substituído por uma mão humana via inpainting) melhoraram o modelo de tradução quando adicionados aos dados pareados reais, apesar de imperfeitos.
O artigo propõe uma escala estruturada de generalização: leve (novas configurações de objetos e habilidades vistos), padrão (novas instâncias, combinações objeto-habilidade não vistas) e forte (categorias de objetos não vistas, habilidades não vistas).

Principais resultados

Taxas de sucesso sobre mesa (%) do HOPMan em generalização leve / de instância / de combinação não vista / de categoria não vista / de habilidade não vista: 68 / 58 / 50 / 40 / 25; a BC condicionada a objetivos obteve 43 / 20 / 13 / 0 / 0 e o VRB 50 / 25 / 15 / 0 / 0.
Taxas de sucesso em ambientes não controlados (%) do HOPMan: 60 / 40 / 40 / 30 / 25, contra 45 / 10 / 10 / 0 / 0 da BC e 50 / 15 / 10 / 0 / 0 da linha de base MP baseada no MimicPlay.
O H2R, treinado apenas com vídeos humanos passivos, obteve 20 / 20 / 15 / 15 / 15 sobre mesa e 15 / 10 / 15 / 15 / 10 em ambientes não controlados; foi a única linha de base acima de zero na generalização forte.
Modelo de tradução sozinho, com máscaras de mão e objeto de ground truth (%): dados pareados mais alucinados 85 / 65 / 60 / 60 / 25, apenas pareados 85 / 60 / 50 / 30 / 15, apenas alucinados 30 / 25 / 25 / 20 / 0.
A avaliação abrange cerca de 100 tarefas construídas a partir de 16 habilidades e 40 tipos de objetos, com 2 a 3 instâncias cada.

Limitações

Os autores afirmam que as tarefas não vistas tratadas ainda têm complexidade limitada e deixam para trabalhos futuros as tarefas de horizonte longo que combinam várias habilidades.
Eles esperam que o framework tenha dificuldades com manipulação destra, já que recuperar a articulação precisa da mão e dos dedos a partir de vídeos da web continua sendo um problema em aberto.
O sucesso na generalização forte fica entre 25 e 40 % sobre mesa e entre 25 e 30 % em ambientes não controlados.
O sucesso é julgado inspecionando manualmente quão próxima a configuração final do objeto está da imagem-objetivo, e o número de tentativas por configuração não é informado.

Impacto na área

Finalista do IEEE ICRA 2024 Best Paper Award in Robot Manipulation, com 82 citações. O artigo traz link para um site do projeto com vídeos do robô; não fornece repositório de código.

Resumo

Perseguimos o objetivo de desenvolver robôs que possam interagir zero-shot com objetos genéricos não vistos por meio de um repertório diverso de habilidades de manipulação, e mostramos como vídeos humanos passivos podem servir como uma fonte rica de dados para aprender esses robôs generalistas. Ao contrário das abordagens típicas de aprendizado robótico, que aprendem diretamente como um robô deve agir a partir de dados de interação, adotamos uma abordagem fatorada que pode aproveitar vídeos humanos em larga escala para aprender como um humano realizaria uma tarefa desejada (um “plano” humano), seguida da “tradução” desse plano para a corporificação do robô. Especificamente, aprendemos um “preditor de planos” humano que, dada uma imagem atual de uma cena e uma imagem-objetivo, prevê as configurações futuras da mão e do objeto. Combinamos isso com um módulo de “tradução” que aprende uma política de manipulação robótica condicionada ao plano e permite seguir planos humanos para tarefas de manipulação genéricas de forma zero-shot, sem treinamento no momento da implantação. É importante notar que, enquanto o preditor de planos pode aproveitar vídeos humanos em larga escala para o aprendizado, o módulo de tradução requer apenas uma pequena quantidade de dados do domínio e consegue generalizar para tarefas não vistas durante o treinamento. Mostramos que nosso sistema aprendido consegue executar mais de 16 habilidades de manipulação que generalizam para 40 objetos, abrangendo 100 tarefas do mundo real de manipulação sobre mesa e manipulação diversa em ambientes não controlados. https://homangab.github.io/hopman/

Open Source Robotics