You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

Autores: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um espaço canônico de formas treinado apenas em simulação transfere um vídeo de demonstração para objetos novos; a clonagem em malha fechada com rastreamento atinge 100 % ao colocar pilhas em pé e 82,9 % na inserção de engrenagens com 0,5 mm.

Por que importa

Uma nova habilidade de montagem pode ser ensinada com um vídeo mais modelos CAD das instâncias de treinamento, sem dados de treinamento do mundo real nem anotação de pontos-chave, e se transfere para novas instâncias compradas no varejo. A comparação com e sem rastreamento mostra o quanto a realimentação em malha fechada da pose do objeto importa em inserções com tolerâncias apertadas.

Problema

Métodos de manipulação em nível de categoria que transferem uma habilidade entre instâncias de objetos geralmente precisam de pontos-chave semânticos especificados manualmente e de uma coleta de dados cara no mundo real, e tratam o objeto pego como fixo na garra, executando em malha aberta. Isso falha em tarefas de horizonte longo e ricas em contato, como inserir uma pilha contra uma mola, em que a sequência de ações intermediária importa e o objeto se move na mão.

Solução proposta

Uma NUNOCS Net (uma rede semelhante à PointNet) treinada apenas com dados sintéticos do Blender mapeia uma nuvem de pontos parcial em um espaço canônico em nível de categoria com escala 3D não uniforme, o que dá correspondência densa entre o objeto demonstrado e um novo. Um único vídeo de demonstração RGBD é processado com o rastreador 6 DoF sem modelo BundleTrack para obter uma trajetória de pose do objeto em relação ao receptáculo, reprojetado no novo objeto e executado como um movimento livre de colisões com RRT* até uma pose-chave a 5 cm do receptáculo, seguido de clonagem de comportamento em nível de categoria (CatBC). O CatBC segue a trajetória-alvo com atualizações das juntas baseadas no jacobiano e realimentação do rastreador a 10 Hz, ancorado a um sistema de coordenadas escolhido por um mecanismo de atenção local.

Principais ideias

Expressar a demonstração como a trajetória de pose do objeto em relação ao receptáculo separa a habilidade do demonstrador (mão humana ou robô teleoperado) e do layout da cena.
O rastreamento em malha fechada do objeto na mão importa sobretudo em tarefas ricas em contato: o sucesso subiu de 37,78 % para 82,22 % na montagem de pilhas e de 42,9 % para 100 % na inserção de engrenagens com a tolerância mais folgada quando o rastreamento foi ativado.
A correspondência 3D densa a partir de um espaço canônico treinado em simulação foi mais precisa do que descritores densos 2D (DON) ou pontos-chave semânticos (KPAM, KPAM 2.0) treinados com dados reais; mesmo sem rastreamento, superou todas as baselines.
Dividir a execução em transporte livre de colisões e clonagem da última polegada permite ao robô lidar com obstáculos não vistos na demonstração e reproduzir apenas a parte do vídeo que decide o sucesso.
Estratégias diferentes podem ser ensinadas demonstrando de novo: uma demonstração de ancorar e pivotar deu maior sucesso na inserção de engrenagens do que a inserção simples de cima para baixo.

Principais resultados

Colocar pilhas em pé (9 pilhas de teste, 5 tentativas cada): 100 % para o método completo, 80,0 % sem rastreamento e no máximo 60,0 % para as baselines (KPAM 2.0 com clonagem baseada na demonstração).
Montagem de pilhas contra uma mola: 82,22 % para o método completo, 37,78 % sem rastreamento, no máximo 24,44 % para as baselines e 0 % para KPAM, KPAM 2.0 e DON sem clonagem.
Inserção de engrenagens (7 engrenagens de teste): 100 % com tolerância de 5 mm (3 mm para uma engrenagem), 82,9 % com 0,5 mm e 28,6 % com 0,1 mm; a melhor baseline atingiu 31,4 % com 5 mm, todas as seis baselines marcaram 0 % com 0,5 mm e a variante sem rastreamento marcou 5,7 % com 0,5 mm.
Foram realizados 1.560 ensaios no mundo real entre o método e 7 baselines; o rastreador roda na taxa da câmera, de 10 Hz.
A NUNOCS Net usou 100.000 dados sintéticos por categoria, enquanto as baselines KPAM e KPAM 2.0 foram treinadas com 90.000 a 98.340 dados do mundo real por categoria com anotações de pontos-chave.

Limitações

A visão é a única modalidade sensorial; os autores esperam que o sensoriamento de força ou tátil melhore a precisão em tarefas de alta precisão.
Apenas objetos rígidos são tratados; objetos articulados ou deformáveis, como cabos, precisam de outras representações em nível de categoria.
Modos de falha relatados: na montagem de pilhas a força da mola pode empurrar a pilha para fora da garra, e na inserção de engrenagens com ancorar e pivotar a engrenagem pode girar na mão até que não exista nenhuma solução de cinemática inversa livre de colisões.
Com tolerância engrenagem-eixo de 0,1 mm o sucesso cai para 28,6 %.
O método supõe uma preensão que não obstrua a tarefa (o planejamento da preensão está fora de seu escopo), e os receptáculos são construídos a partir de primitivas geométricas e localizados com RANSAC.

Impacto na área

Finalista do RSS 2022 Best Paper Award, e citado 145 vezes. O artigo não informa a disponibilização de código ou dados próprios.

Resumo

Resultados promissores foram alcançados recentemente na manipulação em nível de categoria que generaliza entre instâncias de objetos. No entanto, ela frequentemente exige uma coleta de dados cara no mundo real e a especificação manual de pontos-chave semânticos para cada categoria de objeto e cada tarefa. Além disso, previsões grosseiras de pontos-chave e o fato de ignorar sequências de ações intermediárias dificultam a adoção em tarefas de manipulação complexas além do pick-and-place. Este trabalho propõe um novo framework de manipulação em nível de categoria que explora uma representação centrada no objeto e em nível de categoria e um rastreamento de movimento 6 DoF sem modelo. A representação canônica do objeto é aprendida apenas em simulação e depois usada para extrair uma trajetória da tarefa em nível de categoria a partir de um único vídeo de demonstração. A demonstração é reprojetada em uma trajetória-alvo adaptada a um objeto novo por meio da representação canônica. Durante a execução, o horizonte de manipulação é decomposto em movimento de longo alcance livre de colisões e manipulação da última polegada. Para esta última parte, um método de clonagem de comportamento em nível de categoria (CatBC) explora o rastreamento de movimento para realizar controle em malha fechada. O CatBC segue a trajetória-alvo, projetada a partir da demonstração e ancorada a um sistema de coordenadas em nível de categoria selecionado dinamicamente. O sistema de coordenadas é selecionado automaticamente ao longo do horizonte de manipulação por um mecanismo de atenção local. Este framework permite ensinar diferentes estratégias de manipulação fornecendo apenas uma única demonstração, sem programação manual complicada. Experimentos extensos demonstram sua eficácia em uma série de tarefas industriais desafiadoras de montagem de alta precisão, que envolvem aprender políticas complexas de horizonte longo. O processo apresenta robustez à incerteza devida à dinâmica, bem como generalização entre instâncias de objetos e configurações de cena.

Open Source Robotics