A System for General In-Hand Object Re-Orientation

Autores: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

RL sem modelo com destilação professor-aluno, inicialização a partir de poses elevadas e um currículo de gravidade reorienta mais de 2000 objetos em uma Shadow Hand simulada, com a palma para cima ou para baixo, sem informação de forma.

Por que importa

As políticas atingem orientações-alvo arbitrárias em SO(3) sem nenhuma informação sobre a forma do objeto, o que os autores chamam de sua descoberta mais surpreendente e o que sugere que a percepção da forma pode importar menos do que se esperava para a reorientação na mão. Os casos com a mão voltada para baixo e com apoio de uma mesa cobrem configurações da mão que trabalhos anteriores de reorientação aprendida, focados em uma mão com a palma para cima, não abordavam.

Problema

Reorientar um objeto dentro de uma mão com vários dedos significa controlar um espaço de ações de alta dimensão enquanto os contatos entre dedos e objeto se formam e se desfazem continuamente. Métodos anteriores foram mostrados principalmente em simulação com formas simples e modelos de objeto conhecidos, ou precisavam de aparatos extras, como captura de movimento, em robôs reais, não generalizavam entre objetos e quase todos supunham que a mão fica voltada para cima.

Solução proposta

Uma política professora é treinada com PPO sobre o estado privilegiado do simulador (incluindo as velocidades do objeto e das pontas dos dedos) com mais de 2000 objetos do EGAD e do YCB, e depois destilada com DAgger em políticas alunas que veem ou as posições das juntas mais a pose do objeto, ou apenas uma nuvem de pontos voxelizada de duas câmeras RGBD processada por uma rede convolucional 3D esparsa (Sparse3D-IMPALA-Net). Para uma mão voltada para baixo sem mesa, os episódios começam a partir dos estados finais de uma política separada de levantamento do objeto, e a gravidade é introduzida passo a passo por meio de um currículo.

Principais ideias

Políticas sem acesso à forma do objeto reorientam muitos objetos não vistos; com a mão voltada para cima, a estratégia aprendida lança o objeto girando e o apanha quando sua orientação corresponde ao objetivo.
Estado privilegiado, como as velocidades do objeto e das pontas dos dedos, treina políticas melhores mais rápido, e a destilação com DAgger para um estado reduzido de 31 dimensões (posições das juntas, posição do objeto, diferença de orientação) mantém a maior parte da taxa de sucesso.
Com a mão voltada para baixo e sem apoio, o treinamento direto dá 0 % de sucesso; iniciar os episódios a partir dos estados finais de uma política de levantamento e acrescentar um currículo de gravidade tornam a tarefa aprendível.
Usar a distância de Chamfer entre as nuvens de pontos atual e objetivo do objeto como teste de sucesso adicional resolve o caso de objetos simétricos cujas diferentes orientações parecem idênticas para as câmeras.
Políticas treinadas com objetos de 50-150 g reorientam em zero-shot objetos YCB com massa alterada para 0,3-0,5 kg com cerca de 75 % de sucesso.

Principais resultados

Mão para cima, professora RNN com estado completo (treinada e testada sem randomização de domínio): 95,95 ± 0,8 % de sucesso no EGAD e 80,40 ± 1,6 % no YCB.
Mão para cima, aluna RNN com estado reduzido: 91,96 ± 1,5 % no EGAD e 81,04 ± 0,5 % no YCB.
Mão para baixo sobre uma mesa, MLP com estado completo: 95,31 ± 0,9 % (EGAD) e 81,59 ± 0,7 % (YCB); a política de levantamento do objeto usada na inicialização tem sucesso em 97,80 % (EGAD) e 90,11 % (YCB).
Mão para baixo no ar, aluna com estado reduzido: 74,10 ± 2,3 % (EGAD) e 45,22 ± 2,1 % (YCB); com o currículo de gravidade o YCB sobe para 67,33 ± 1,9 %.
Transferência zero-shot entre conjuntos de dados, mão para cima, estado completo: 68,82 ± 1,7 % para EGAD→YCB e 96,41 ± 1,2 % para YCB→EGAD.
Políticas de visão por objeto (θ̄ = 0,2 rad, limiar de Chamfer 0,01): 89,67 ± 1,2 % em uma caneca e 84,52 ± 1,4 % em um avião de brinquedo, 50,21-66,57 % em peças simétricas de Lego Duplo.

Limitações

Todos os experimentos são em simulação (uma Shadow Hand simulada no Isaac Gym); os autores limitaram o escopo por causa da pandemia e dão apenas evidência indireta da transferência para o mundo real (randomização de domínio e uma análise dos torques de pico).
As políticas de visão foram treinadas uma por objeto em seis objetos por causa do custo computacional; uma única política de visão para muitos objetos fica para trabalho futuro, com a memória da GPU citada como principal gargalo.
O sucesso varia muito com a forma do objeto: objetos longos, pequenos ou finos causam 60 % de 100 falhas analisadas no YCB, e outros 19 % terminam perto do objetivo, mas fora do limiar de 0,1 rad.
Os autores não descartam totalmente que a estratégia de lançar e apanhar explore o simulador, embora sua análise de forças indique o contrário.
A reorientação com a mão voltada para baixo e sem apoio fica bem abaixo do caso para cima no YCB (45,22 % para a aluna sem o currículo, 67,33 % com ele).

Impacto na área

Vencedor do CoRL 2021 Best Paper Award, com 351 citações. O artigo publica vídeos das políticas aprendidas na página do projeto, e a página oficial do projeto aponta para um repositório de código (Improbable-AI/dexenv).

Resumo

A reorientação de objetos na mão tem sido um problema desafiador em robótica devido ao espaço de atuação de alta dimensão e à mudança frequente do estado de contato entre os dedos e os objetos. Apresentamos um framework simples sem modelo que consegue aprender a reorientar objetos tanto com a mão voltada para cima quanto para baixo. Demonstramos a capacidade de reorientar mais de 2000 objetos geometricamente diferentes em ambos os casos. As políticas aprendidas mostram forte desempenho de transferência zero-shot para objetos novos. Fornecemos evidências de que essas políticas são adequadas à operação no mundo real ao destilá-las para usar observações facilmente disponíveis no mundo real. Os vídeos das políticas aprendidas estão disponíveis em: https://taochenshh.github.io/projects/in-hand-reorientation.

Open Source Robotics