Grasp Pose Detection in Point Clouds

Autores: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Amostrar milhares de poses de garra de 6-DOF em qualquer superfície visível, pontuar cada uma com uma CNN pequena sobre projeções multivista da nuvem local e escolher uma por heurísticas: 93 % de sucesso em desordem densa.

Por que importa

O método não precisa de segmentação, de identidade do objeto nem de modelo CAD em tempo de execução, o que se adequa à coleta de objetos em mundo aberto. As ablações no robô mostram quanto cada etapa contribui: a qualidade da nuvem de pontos, a classificação de preensões e as heurísticas de seleção de preensões alteram cada uma a taxa de sucesso em 9 a 40 pontos.

Problema

Pipelines clássicos de preensão registram um modelo CAD na nuvem de pontos, o que é difícil com nuvens ruidosas e parciais e pressupõe que exista um modelo para cada objeto. Métodos anteriores de detecção de preensão alcançavam 75–95 % de sucesso de preensão em objetos isolados ou em desordem leve, baixo demais para uso prático e não representativo de desordem real.

Solução proposta

Candidatos de preensão são amostrados em qualquer superfície visível construindo um referencial de Darboux local em pontos aleatórios da nuvem e empurrando um modelo da garra para a frente até o contato, mantendo as poses livres de colisão com pontos dentro da região de fechamento. Cada candidato é codificado como uma imagem de 15 canais (ou de 3 canais, mais barata) a partir de três projeções de voxels ocupados, voxels ocluídos e normais de superfície, e pontuado por uma CNN de quatro camadas no estilo LeNet. A CNN é treinada com 1,5M de exemplares rotulados, gerados verificando preensões antipodais sem atrito em malhas do BigBird registradas em nuvens de pontos reais.

Principais ideias

A representação da preensão importa: o descritor de 15 canais com normais de superfície e múltiplas vistas supera o mapa de alturas de 3 canais de Herzog/Kappler em pelo menos 10 % de acurácia de classificação
O pré-treinamento com dados CAD simulados ajuda no início (mesma acurácia em 4000 iterações que em 20000 sem ele), mas o benefício desaparece, e o treinamento apenas em simulação atingiu só 83 % contra cerca de 90 % com dados reais
Conhecer a categoria ou a instância do objeto aumenta a acurácia: cerca de 97 % de classificação para instâncias cilíndricas conhecidas contra cerca de 92 % sem conhecimento prévio
A detecção de preensão precisa mais de alta precisão do que de alta acurácia, por isso o artigo mede o recall a 99 % de precisão
Preensões detectadas podem servir como propostas de objetos para um classificador de objetos, permitindo que o robô pegue um objeto nomeado

Principais resultados

Nuvem de pontos ativa (sensor de punho com InfiniTAM): 93 % de sucesso de preensão (268 de 288 tentativas) em 30 rodadas de 10 objetos, com 89 % dos objetos removidos
Nuvem de pontos passiva (dois Asus Xtion Pro montados no corpo): 84 % de sucesso (116 de 138), 77 % dos objetos removidos
Sem as heurísticas de seleção de preensão: 75 % de sucesso (117 de 155); sem classificação de preensão: 53 % de sucesso (75 de 142)
Recall a 99 % de precisão: 89 % para a representação de 15 canais, 82 % para 12 canais, 19 % para a representação de Herzog/Kappler
Tempo de execução por 1k candidatos em uma nuvem de 66k pontos: 2,1 s com o descritor de 3 canais contra cerca de 8 s com 15 canais
Preensões como propostas de objetos em desordem: 85,4 % de acurácia na classificação de objetos (1023 de 1197 propostas) em 9 objetos

Limitações

Sem segmentação, o detector pode produzir uma preensão que trata dois objetos adjacentes como um só; espera-se que isso aumente com mãos de maior abertura
Pegar um objeto específico depende de uma classificação de objetos que atingiu apenas 85 % no laboratório; melhorá-la é necessário antes do uso no mundo real
O método se restringe a mãos de dois dedos (ou mãos que atuam como tal), e a vantagem da amostragem pode desaparecer para mãos com regiões de fechamento mais complexas
A abertura de preensão de 3–7 cm da garra do Baxter limitou os objetos de teste, e dois objetos precisaram ser colocados em pé à mão quando caíram de cabeça para baixo
Dados de treinamento de imagens de profundidade simuladas se transferem mal para sensores reais (83 % contra cerca de 90 % de acurácia)

Impacto na área

722 citações. Os autores disponibilizam sua implementação como um pacote ROS em C++ (github.com/atenpas/gpd) e definem um protocolo de benchmark de desordem densa para experimentos de preensão.

Resumo

Recentemente, vários métodos de detecção de preensão foram propostos que podem ser usados para localizar configurações de preensão robótica diretamente a partir de dados de sensores, sem estimar a pose do objeto. A ideia subjacente é tratar a percepção de preensões de forma análoga à detecção de objetos em visão computacional. Esses métodos recebem como entrada uma imagem RGBD ou nuvem de pontos ruidosa e parcialmente ocluída e produzem como saída estimativas de pose de preensões viáveis, sem pressupor um modelo CAD conhecido do objeto. Embora esses métodos generalizem bem o conhecimento de preensão para objetos novos, ainda não foi demonstrado que sejam confiáveis o suficiente para uso amplo. Muitos métodos de detecção de preensão alcançam taxas de sucesso de preensão (preensões bem-sucedidas como fração do número total de tentativas de preensão) entre 75 % e 95 % para objetos novos apresentados isoladamente ou em desordem leve. Essas taxas de sucesso não apenas são baixas demais para aplicações práticas de preensão, como também os cenários de desordem leve avaliados muitas vezes não refletem as realidades da preensão no mundo real. Este artigo propõe uma série de inovações que, em conjunto, resultam em uma melhoria significativa no desempenho da detecção de preensão. A melhoria específica de desempenho devida a cada uma de nossas contribuições é medida quantitativamente, seja em simulação, seja em hardware robótico. Por fim, relatamos uma série de experimentos robóticos que atingem em média uma taxa de sucesso de preensão de ponta a ponta de 93 % para objetos novos apresentados em desordem densa.

Open Source Robotics