Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

Autores: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Reconhecer objetos que o robô já manipulou e reutilizar seus modelos TSDF parciais: o sucesso sobe de 85 % para 98 % e são necessárias menos transferências entre braços e menos novas varreduras.

Por que importa

Um robô que vê os mesmos itens repetidamente, como em armazéns ou cozinhas, pode usar encontros anteriores para reduzir a incerteza de forma em vez de começar do zero. O artigo mostra que isso diminui o número de etapas extras de manipulação necessárias para colocar objetos em regiões restritas.

Problema

Sistemas de pick-and-place para objetos sem modelos 3D conhecidos normalmente tratam todo objeto como novo, mesmo quando o mesmo objeto já foi manipulado antes. Para colocação em espaços apertados, eles precisam supor um volume conservador para as partes não vistas, o que força transferências entre braços e movimentos de percepção ativa extras e às vezes não deixa nenhuma preensão segura.

Solução proposta

Cada objeto manipulado é armazenado como um volume de função de distância com sinal truncada (TSDF) de 1 mm mais 64 agrupamentos de características de cor ResNet50 de diferentes pontos de vista. Um objeto novo é associado ao conjunto de dados por distância de cosseno; em seguida, um filtro de partículas em GPU registra o modelo parcial armazenado e rejeita poses que ficam em espaço livre observado ou abaixo da mesa. O mesmo filtro de partículas rastreia o objeto na mão enquanto novas vistas de profundidade são fundidas em seu modelo.

Principais ideias

Modelos de grade de ocupação não eram precisos o suficiente para serem reutilizados entre tarefas; um volume TSDF de 1 mm era
Descartar hipóteses de pose que colocavam o modelo em espaço livre observado ou abaixo do plano de apoio rejeitou o único reconhecimento falso antes que ele causasse uma tarefa malsucedida
Representar um objeto por vários agrupamentos de características por ponto de vista em vez de uma única característica média eleva a revocação (recall) de 0,211 para 0,886 no limiar escolhido
Falsos negativos custam apenas eficiência, já que o objeto é tratado como novo, enquanto falsos positivos podem fazer uma tarefa falhar, por isso o limiar é definido para alta precisão
Renderizar apenas uma região de interesse reduz pela metade o tempo de iteração do filtro de partículas em comparação com o método anterior de imagem inteira

Principais resultados

Sucesso nas tarefas 54/55 (98 %) contra 47/55 (85 %) da linha de base que trata todo objeto como novo
Ações de transferência entre braços em 20/55 tarefas (36 %) contra 37/55 (67 %) da linha de base
Ações de percepção ativa em 8/55 tarefas (14 %) contra 35/55 (63 %) da linha de base
Registrar um modelo armazenado reduziu o volume conservador de incerteza de forma em 32 % em média e em até 75 %
Objeto reconhecido corretamente em 49/55 experimentos, com 5 falsos negativos e 1 falso positivo que a estimativa de pose rejeitou
Modelos reconstruídos a menos de 5 mm de distância de Chamfer da verdade de referência para os quatro objetos; as iterações de estimativa de pose levam cerca de 30 ms contra cerca de 60 ms do método anterior com 625 partículas

Limitações

Os autores afirmam que a representação TSDF não é adequada para estruturas finas, então objetos como tigelas são difíceis de reconstruir e rastrear
Cenas com muitos objetos ficam para trabalho futuro; cada tarefa contém um único objeto isolado
Os modelos reconstruídos contêm pontos internos ruidosos causados por erros de rastreamento quando o objeto está muito ocluído
Avaliado com quatro objetos em 55 tarefas por sistema, e ocorrem falsos negativos quando a parte visível de um objeto não foi vista antes

Impacto na área

Finalista do prêmio ICRA 2022 Outstanding Manipulation Paper, com 17 citações. Os autores informam que o estimador de pose por filtro de partículas tem código aberto no GitHub como ferramenta de anotação de pose 6DoF.

Resumo

Este trabalho propõe um pipeline robótico para a retirada e a colocação restrita de objetos sem conhecimento prévio de sua forma geométrica. Em comparação com esforços recentes desenvolvidos para tarefas semelhantes, nos quais se supunha que todo objeto era novo, o sistema proposto reconhece objetos manipulados anteriormente e realiza a reconstrução e a reutilização de modelos online. Ao longo de um processo de manipulação contínuo, o sistema continua aprendendo características dos objetos com que interagiu e atualiza seus modelos reconstruídos. Sempre que uma instância de um objeto manipulado anteriormente reaparece, o sistema procura primeiro reconhecê-la e depois registrar seu modelo reconstruído anteriormente com base na observação atual. Essa etapa reduz muito a incerteza sobre a forma do objeto, permitindo ao sistema raciocinar até sobre partes dos objetos que não são observáveis no momento. Isso também resulta em maior eficiência de manipulação, pois reduz a necessidade de percepção ativa do objeto-alvo durante a manipulação. Para obter um modelo reconstruído reutilizável, o pipeline proposto adota: i) TSDF para a representação de objetos, e ii) uma variante do algoritmo padrão de filtro de partículas para estimativa de pose e rastreamento do modelo parcial do objeto. Além disso, é apresentada uma forma eficaz de construir e manter um conjunto de dados de objetos manipulados. Uma sequência de experimentos de manipulação no mundo real é realizada para mostrar como tarefas de manipulação futuras se tornam mais eficazes e eficientes ao reutilizar modelos reconstruídos de objetos manipulados anteriormente, gerados em tempo real, em vez de tratar os objetos como novos todas as vezes.

Open Source Robotics