APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

Autores: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O APriCoT divide uma troca de preensão na mão em quatro primitivas curtas de RL construídas a partir de detach, crossover e attach, de modo que uma Shadow Hand Lite simulada gira um objeto meia volta e alcança a preensão-alvo.

Por que importa

A maior parte da manipulação na mão aprendida recompensa apenas a rotação e não verifica a preensão final, que é o que decide se a ferramenta poderá ser usada depois. O artigo mostra que decompor por estado de contato torna essa tarefa aprendível onde duas baselines publicadas falharam. Como a recompensa é compartilhada entre as primitivas, novas transições podem ser adicionadas sem novo projeto de recompensa.

Problema

A manipulação de ferramentas na mão precisa tanto mover uma ferramenta dentro da mão quanto terminar em uma preensão adequada à próxima tarefa, como segurar uma caixa de modo que sua abertura fique livre para despejar. Aprender isso com RL é difícil porque a preensão-alvo só é alcançada após muitas mudanças de estado de contato, o que torna a recompensa esparsa, e porque os movimentos dos dedos necessários variam muito com o estado de contato, forçando uma exploração ampla e ineficiente em amostras.

Solução proposta

O APriCoT constrói um grafo de transições de estado de contato a partir de três representações de ação (detach, crossover, attach), permitindo apenas estados com uma preensão prênsil, pelo menos três dedos em contato e os dedos mantidos na ordem polegar-indicador-médio-anelar. A tarefa-alvo, girar meia volta um objeto alongado e voltar a uma preensão de precisão, se divide em quatro primitivas que movem, cada uma, um dedo por cima do objeto, com uma política por primitiva, uma recompensa por passo compartilhada e cada política partindo dos estados de saída da anterior. As políticas são treinadas no Isaac Gym com PPO em um esquema professor-estudante, em que o estudante infere a forma do objeto a partir dos ângulos de junta comandados e medidos.

Principais ideias

Descrever uma troca de preensão como transições de estado de contato transforma uma tarefa longa com recompensa esparsa em primitivas curtas nas quais os dedos executam movimentos semelhantes.
Começar e terminar cada primitiva no estado mais estável, com todos os dedos no objeto, torna os estados iniciais fáceis de amostrar em simulação e fáceis de encadear entre políticas.
Treinar cada primitiva sobre toda a sequência detach-crossover-attach, em vez de cada passo isoladamente, evita movimentos desperdiçados, como levantar demais um dedo antes do crossover.
A diferença entre os ângulos de junta comandados e os medidos permite que a política estudante codifique a forma do objeto; o t-SNE de suas variáveis latentes se agrupa por forma.

Principais resultados

As duas baselines falharam na tarefa: um método modificado de rotação na mão (Baseline A) girou o objeto, mas não alcançou a preensão desejada, e um método para objetos que podem ser pinçados (Baseline B) fez o objeto rolar durante o crossover e o deixou cair.
O APriCoT completou a rotação de meia volta e alcançou a preensão de precisão desejada; a introdução relata uma taxa de sucesso de 90 % para objetos de várias formas.
No teste de robustez (1.000 estados iniciais amostrados por forma, profundidade de 0,02-0,035 m, ε2 de ≃0 a 1), a seção IV-B relata sucesso acima de 90 % para quase todas as formas, com taxas semelhantes em formas não usadas no treinamento.
A seção IV-B também relata cerca de 75 % de sucesso para objetos elípticos espessos (grande profundidade, ε2 alto), o que os autores atribuem à curvatura, que os faz deslizar para o lado.
O treinamento executou 32.768 ambientes paralelos no Isaac Gym em uma GPU NVIDIA RTX 3090, com simulação a 120 Hz e controle a 20 Hz.

Limitações

Todos os experimentos são em simulação; os autores esperam que a randomização de domínio e o aprendizado professor-estudante ajudem na transferência sim-to-real, mas não testaram em hardware.
A pose do objeto, como a rotação de rolagem (roll), não pode ser detectada apenas pelos ângulos das juntas, e não detectá-la pode desestabilizar o objeto e derrubá-lo; os autores planejam acrescentar informação visual.
Focar apenas nas transições de estado de contato não garante a orientação desejada do objeto após a manipulação.
O grafo de transições de estado de contato é projetado à mão, o que os autores consideram trabalhoso ao longo de muitas operações.
Apenas uma operação (meia volta de retorno a uma preensão de precisão, quatro primitivas) é demonstrada.

Impacto na área

Vencedor do Humanoids 2024 Best Oral Presentation Award e citado 2 vezes. O artigo lista seus hiperparâmetros de recompensa, faixas de randomização e tamanhos de rede. Não informa a disponibilização de código ou modelo.

Resumo

A manipulação de ferramentas na mão é uma operação que não apenas manipula uma ferramenta dentro da mão (isto é, manipulação na mão), mas também obtém, após a manipulação, uma preensão adequada a uma tarefa. Este estudo visa alcançar uma habilidade de manipulação de ferramentas na mão por meio de aprendizado por reforço profundo. A dificuldade de aprender essa habilidade surge porque essa manipulação exige (A) explorar mudanças de estado de contato de longo prazo para alcançar a preensão desejada e (B) movimentos muito variados dependendo da transição de estado de contato. (A) leva a uma escassez de recompensa por uma preensão bem-sucedida, e (B) exige que um agente de RL explore amplamente o espaço de estados e ações para aprender ações muito variadas, levando à ineficiência amostral. Para enfrentar esses problemas, este estudo propõe Action Primitives based on Contact-state Transition (APriCoT). O APriCoT decompõe a manipulação em primitivas de ação de curto prazo, descrevendo a operação como uma transição de estado de contato baseada em três representações de ação (detach, crossover, attach). Em cada primitiva de ação, os dedos precisam executar ações de curto prazo e semelhantes. Treinando uma política para cada primitiva, conseguimos mitigar os problemas decorrentes de (A) e (B). Este estudo se concentra em uma operação fundamental como exemplo de manipulação de ferramentas na mão: girar meia volta um objeto alongado segurado com uma preensão de precisão para alcançar a preensão inicial. Os resultados experimentais demonstraram que o nosso método teve sucesso tanto na rotação quanto na obtenção da preensão desejada, ao contrário dos estudos existentes. Além disso, constatou-se que a política era robusta a mudanças na forma do objeto.

Open Source Robotics