Reactive Human-To-Robot Handovers of Arbitrary Objects

Autores: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Segmentar a mão e pegar o que sobra: um sistema baseado em visão permite que um Franka Panda pegue 26 objetos domésticos diferentes das mãos de pessoas e replaneje quando o objeto se move.

Por que importa

O objeto não precisa pertencer às categorias de um detector pré-treinado, que os autores apontam como o principal gargalo do trabalho anterior mais próximo. A malha fechada permite que o robô acompanhe um objeto que a pessoa gira depois que o robô já começou a se mover, a causa da maioria das falhas relatadas nesse trabalho anterior.

Problema

Robôs assistivos precisam pegar muitos tipos de objetos das pessoas, mas a maioria dos estudos sobre entregas usou um único objeto e apenas um dos artigos revisados usou mais de seis. Pegar um objeto de uma mão é diferente de pegar um objeto estático: o objeto pode se mover, fica parcialmente escondido pelos dedos, limita as direções de aproximação, e o movimento do robô precisa transmitir segurança.

Solução proposta

O sistema recorta a nuvem de pontos ao redor da mão rastreada com o Azure Kinect Body Tracking SDK, segmenta a mão na imagem RGB com uma Feature Pyramid Network sobre ResNet-50 treinada com máscaras geradas automaticamente e rotula os pontos restantes como o objeto. O 6-DOF GraspNet propõe preensões que são refinadas de um quadro para o seguinte por amostragem de Metropolis-Hastings com seu avaliador de preensões, as preensões que colidem com a mão são removidas, e um modelo de tarefas Robust Logical Dynamical Systems com Riemannian Motion Policies escolhe e executa as poses de aproximação.

Principais ideias

Segmentar a mão, uma tarefa bem definida, e rotular como objeto os pontos recortados restantes evita ter de segmentar diretamente objetos nunca vistos.
Máscaras de treinamento para a mão podem ser produzidas sem anotadores humanos, recortando a mão nua rastreada da nuvem de pontos e projetando-a na imagem.
Refinar as preensões do quadro anterior com o avaliador de preensões mantém as preensões consistentes ao longo do tempo sem retreinar o GraspNet; as preensões são reamostradas quando poucas sobrevivem a um movimento rápido da mão.
Pontuar as poses de aproximação pela distância à melhor preensão anterior e à pose de repouso mantém o movimento suave enquanto a pessoa é acompanhada.
Girar cada preensão 180° em torno de seu eixo Z dobra o conjunto de candidatas para uma garra de dois dedos.

Principais resultados

O modelo de segmentação da mão atinge 99,7 % de acurácia por pixel, 99,5 % de IoU ponderada por frequência e 68,0 % de IoU média em um conjunto de validação coletado da mesma forma.
Teste sistemático com uma banana, um frasco de maionese de brinquedo e uma caixa de cereal de brinquedo segurados na horizontal, a 45° e a 90°: no geral, 11,39 ± 4,29 s por entrega e 90 % de sucesso; banana 100 %, frasco 90 %, caixa de cereal 82 %.
Objeto girado depois que o robô começa a se mover: 0–45° deu 100 % de sucesso em 11,81 ± 3,93 s; 0–90° deu 69 % em 15,41 ± 7,39 s.
Estudo com 6 participantes entregando 10 objetos: tempo médio de aproximação de 10,7 ± 3,6 s, 1,3 ± 0,3 tentativa e taxa de sucesso de 81,8 %; caneta (50,0 %), caneca (54,5 %) e colher (66,7 %) foram os mais baixos.
O texto (seções V-A, V-B e VI-B) diz que todos os objetos foram pegos no fim, em três tentativas ou menos no teste sistemático, enquanto as tabelas I e II listam taxas de sucesso abaixo de 100 % para vários objetos.
As notas do questionário ficaram em torno de 4 ou acima em todas as dimensões, com pouca variância entre os participantes.

Limitações

As falhas vieram da falta de profundidade em superfícies escuras, da rede de segmentação rotulando o objeto como mão e de ruído na nuvem de pontos recortada causado por objetos próximos (segundo os autores).
O custo da cinemática inversa limita a rapidez com que o robô consegue atualizar a preensão-alvo; os participantes pediram um movimento mais rápido e fluido (segundo os autores).
O estudo com usuários teve seis participantes, todos recrutados no laboratório por causa dos protocolos de segurança da pandemia (segundo os autores).
A pessoa precisa segurar o objeto de um jeito que permita ao robô pegá-lo.
A avaliação sistemática usou um usuário e três objetos, com entregas repetidas até o robô ter sucesso três vezes.

Impacto na área

Ganhou o IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) e tem 99 citações. O artigo traz o link de uma página do projeto com mais resultados e vídeos; não informa a liberação de código nem de um conjunto de dados.

Resumo

A entrega de objetos entre humanos e robôs tem sido uma área da robótica estudada ativamente na última década; no entanto, muito poucas técnicas e sistemas abordaram o desafio de entregar objetos diversos, com aparência, tamanho, forma e rigidez arbitrários. Neste artigo, apresentamos um sistema baseado em visão que permite entregas reativas de objetos desconhecidos de humano para robô. Nossa abordagem combina o planejamento de movimento em malha fechada com a geração de preensões em tempo real e temporalmente consistente para garantir reatividade e suavidade de movimento. Nosso sistema é robusto a diferentes posições e orientações do objeto e consegue pegar objetos tanto rígidos quanto não rígidos. Demonstramos a capacidade de generalização, a usabilidade e a robustez de nossa abordagem em um novo conjunto de referência de 26 objetos domésticos diversos, em um estudo com usuários leigos (N=6) que entregam um subconjunto de 15 objetos e em uma avaliação sistemática que examina diferentes maneiras de entregar objetos. Mais resultados e vídeos estão em https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects.

Open Source Robotics