MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

Autores: Andrea Sipos, Nima Fazeli · RSS 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Dois braços tocam várias vezes os objetos que seguram um no outro; filtros de partículas pontuados por contato, força e consistência entre ações recuperam as duas poses na mão com erro de cerca de 0,5 cm.

Por que importa

O método não precisa de câmera nem de pele tátil de alta resolução, apenas do sensoriamento das juntas e da estimativa de wrench (força e torque) que cobots como o Franka Emika Panda já oferecem, ou de um sensor de força-torque de punho comercial. Isso torna a correção da pose na mão possível em cenários com oclusão e com hardware comum.

Problema

Erros na pose de um objeto agarrado causam deslizamento, contatos inesperados e travamento no uso de ferramentas e na montagem. Estimadores baseados em visão falham sob oclusão, que é comum em montagem fina e espaços estreitos, e sensores táteis de alta resolução são caros, desgastam-se facilmente e são difíceis de modelar. Um único contato (como no método SCOPE anterior dos autores) muitas vezes deixa a pose ambígua.

Solução proposta

O MultiSCOPE estende o SCOPE, que combina um filtro de partículas de contato (CPFGrasp) com um filtro de partículas da pose do objeto, de um único contato para uma sequência de toques entre dois objetos segurados por dois braços, usando apenas propriocepção e wrenches de punho de 6 eixos. Ele adiciona uma etapa de segmentação da ferramenta (K-Means sobre as normais da superfície, depois DBSCAN) para que cada face receba partículas de contato, uma perda de wrench que favorece poses cujos contatos explicam o wrench medido no punho, e uma perda de memória que pontua as poses em relação a uma nuvem de contatos construída a partir de ações anteriores, com 'memory dropout' quando uma ação anterior se mostra inconsistente.

Principais ideias

Combinar várias ações de contato remove a ambiguidade que uma única ação deixa: um toque pode restringir uma direção, e um segundo toque, outra
Amostrar partículas de contato por face segmentada, em vez de uniformemente sobre a superfície, evita que faces pequenas mas funcionalmente importantes sejam ignoradas e reduz o número de partículas necessárias
Exigir que os contatos estimados reproduzam o wrench medido no punho (a perda de wrench) foi a perda individual mais forte na ablação
O erro de calibração entre robôs importa: sem calibração, os autores observaram erro RMS de 1 a 1,5 cm entre os dois braços, reduzido para 3-7 mm com uma rotina baseada em ICP

Principais resultados

Simulação, ferramenta chave inglesa, 10 ensaios com 5 ações: erro de pose da ferramenta de 0,47 ± 0,27 cm e −0,76 ± 2,01°, erro de pose da sonda de 0,49 ± 0,28 cm e −2,67 ± 4,76°; 8 de 10 tarefas de chave no parafuso com tolerância apertada tiveram sucesso
A execução de ablação das perdas do método completo (Tabela I, 5 ensaios) relata erro da ferramenta de 0,48 ± 0,16 cm e 100 % de sucesso na tarefa, enquanto a execução de 10 ensaios (texto e Tabela II) relata 0,47 ± 0,27 cm e 80 %; são conjuntos de ensaios separados
Ações isoladas tiveram em média 1,08 cm de erro de translação da ferramenta e 40 % de sucesso na tarefa, contra 0,47 cm e 80 % do método completo com múltiplas ações (Tabela II)
Com ruído de força-torque de 5 % da magnitude do sinal: erro da ferramenta de 0,52 ± 0,31 cm e 4 de 5 tarefas concluídas; com 8 % de ruído nenhuma tarefa teve sucesso (erro da ferramenta de 1,13 ± 0,33 cm)
As ferramentas chave sextavada, lingueta e engrenagem em simulação deram erros de translação da ferramenta de 0,31, 0,33 e 0,49 cm (10 ensaios cada)
Hardware real, ferramenta chave inglesa, 4 ações: 5 de 5 ensaios da tarefa tiveram sucesso (tolerância de 3,5 mm por lado usando um cilindro como alvo)

Limitações

Os autores apontam a seleção de ações como trabalho futuro: os toques foram escolhidos à mão, e é necessária uma seleção mais fundamentada para reduzir o número de ações
O método supõe objetos rígidos com modelos geométricos conhecidos, contatos pontuais que não transmitem momento e nenhum deslizamento relativo durante os toques
O ruído de propriocepção não é modelado; os autores tiveram dificuldade em calibrar os dois braços reais um em relação ao outro (3-7 mm RMS após a calibração)
A precisão cai com o ruído de força-torque: com 8 % de ruído nenhuma demonstração baseada em tarefa teve sucesso
As poses são estimadas em SE(2) porque as garras de mandíbulas paralelas as restringem, e o teste no mundo real usou uma única ferramenta e um cilindro em vez da cabeça de um parafuso

Impacto na área

Finalista do RSS 2023 Best Student Paper Award, com 14 citações. O artigo indica www.mmintlab.com/multiscope/ para código e vídeos; essa página traz o link do repositório de código.

Resumo

Neste artigo, propomos um método para estimar poses de objetos na mão usando propriocepção e feedback tátil de um sistema robótico bimanual. Nosso método trata o problema de reduzir a incerteza da pose por meio de uma sequência de interações de contato com atrito entre os objetos agarrados. Como parte do método, propomos 1) uma rotina de segmentação de ferramentas que facilita a estimativa da localização do contato e da pose do objeto, 2) uma perda que permite raciocinar sobre a consistência da solução entre interações, e 3) uma perda que favorece a convergência para poses do objeto e localizações de contato que expliquem a força-torque externa sentida por cada braço. Demonstramos a eficácia do método em uma demonstração baseada em tarefa, tanto em simulação quanto em uma plataforma bimanual real, e mostramos uma melhora significativa na estimativa da pose do objeto em relação a interações isoladas. Acesse www.mmintlab.com/multiscope/ para código e vídeos.

Open Source Robotics