Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

Autores: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma GNN baseada em partículas prevê o movimento dos objetos nas poses-chave das primitivas de comportamento; buscar parâmetros das primitivas em relação a 3-4 quadros-chave de uma demonstração permite que um braço guarde objetos em prateleiras abarrotadas.

Por que importa

A rede é consultada apenas nas poses-chave de cada primitiva, o que, segundo os autores, reduz o número de passagens diretas e o erro de previsão acumulado em horizontes longos. Treinado apenas com objetos simulados em forma de caixa, o sistema foi transferido em zero-shot para um braço Kinova Gen3 real e lidou com objetos fora da distribuição, como uma garrafa, um rolo tira-pelos e itens pesados ou em forma de trapézio.

Problema

Guardar um objeto em uma prateleira abarrotada significa primeiro abrir espaço empurrando e deslizando os objetos que já estão lá, o que envolve contatos entre vários objetos e atritos difíceis de modelar, ao longo de um horizonte longo. Sistemas pré-programados não se adaptam a novos arranjos de prateleira, métodos de manipulação em nível de categoria exigem coleta de dados custosa e rotulagem humana, e o aprendizado por reforço sem modelo exige tempo de treinamento demais para aprender do zero tarefas de horizonte longo em um robô real.

Solução proposta

Cada objeto é modelado como partículas distribuídas uniformemente, e uma rede neural de grafos treinada em simulação prevê a transformação rígida de cada objeto após uma primitiva de comportamento (varrer, empurrar ou transportar); o grafo inclui arestas da garra para os objetos, arestas para as partículas estáticas da prateleira e da mesa e uma perda auxiliar sobre as posições previstas da garra. Na execução, o random shooting amostra os parâmetros de cada primitiva, a rede prevê o resultado, e os parâmetros cujas posições previstas dos objetos estão mais próximas do quadro-chave da demonstração são executados com um controlador no espaço operacional (Operational Space Controller).

Principais ideias

Representar a ação do robô como partículas da garra com movimento planejado, e adicionar arestas entre os objetos dinâmicos e as partículas estáticas da prateleira e da mesa, melhora a previsão em relação a uma GNN no estilo do RoboCraft nas primitivas mais difíceis de varrer e transportar.
Prever os estados dos objetos apenas nas poses-chave das primitivas, em vez de em cada passo de controle, reduz as passagens diretas e o erro acumulado em tarefas de horizonte longo.
Um modelo dinâmico aprendido combinado com busca superou o RL sem modelo (SAC, PPO) e o PPO com espaço de ações parametrizado por primitivas na mesma tarefa de armazenamento de horizonte longo em simulação.
Random Shooting, o método de entropia cruzada (Cross-Entropy Method) e a descida de gradiente tiveram desempenho semelhante como otimizadores dos parâmetros das primitivas.
Um conjunto de 2 habilidades (empurrar e transportar) atingiu os mesmos 95 % de sucesso no mundo real que o conjunto de 3 habilidades, o que os autores atribuem ao modelo capturar as interações entre o objeto segurado e os objetos na prateleira.

Principais resultados

Mundo real, seis configurações com 10 ensaios cada: 95 % de sucesso com 3 habilidades e 95 % com 2 habilidades, contra 18 % de uma heurística ajustada à mão sem previsão da dinâmica.
RoboCraft como dinâmica aprendida no mesmo pipeline: a Tabela 3 relata média de 48 %, enquanto suas seis pontuações por configuração na mesma tabela (4, 7, 4, 6, 7 e 5 de 10) somam 33/60, ou seja, 55 %.
Erro de controle em simulação (MSE): 0,905 mm para o método, contra 22,925 mm do PPO parametrizado, 34,861 mm da heurística, 87,479 mm do PPO e 265,411 mm do SAC.
Erro de previsão da primitiva de transporte: MSE de 0,666 mm, EMD de 31,232 mm e distância de Chamfer de 38,068 mm, contra 1,091, 42,162 e 55,615 mm do RoboCraft; na primitiva de empurrar, mais simples, o RoboCraft tem MSE menor (0,216 contra 0,292 mm), dentro de um desvio padrão.
Objetos deformáveis (apêndice): 6/10 com 3 habilidades e 4/10 com 2 habilidades, contra 2/10 do RoboCraft e 0/10 da heurística.
Dados de treinamento: 300 episódios com parâmetros aleatórios por primitiva; a precisão de previsão de empurrar e varrer estabiliza em cerca de 50 amostras e a de transportar em cerca de 140.

Limitações

Depende de rotulagem humana manual de quadros-chave ordenados a partir das demonstrações, o que, segundo os autores, pode restringir a escalabilidade para cenários maiores e mais complexos.
Os objetos são representados como nuvens de pontos em forma de caixa no treinamento e na inferência, o que, segundo os autores, pode não refletir a geometria real dos objetos quando interações e contatos são mais complexos.
A percepção no mundo real trata cada objeto como um cuboide e o identifica por correspondência SIFT com imagens laterais e superiores capturadas previamente para um banco de dados de objetos conhecidos.
O sucesso cai com objetos deformáveis (melhor resultado, 6/10).
A biblioteca de primitivas (varrer, empurrar, transportar) é projetada à mão; os autores listam o projeto de primitivas e a composição de habilidades como direções de pesquisa em aberto.

Impacto na área

Finalista do CoRL 2023 Best Paper / Best Student Paper Award e citado 32 vezes. O artigo contribui com um benchmark de armazenamento para manipulação de horizonte longo construído em robosuite e MuJoCo; não fornece nenhum link para código ou dados.

Resumo

O armazenamento (stowing), a tarefa de colocar objetos em prateleiras ou caixas abarrotadas, é uma tarefa comum em operações de armazém e de manufatura. No entanto, essa tarefa ainda é realizada predominantemente por trabalhadores humanos, pois é difícil de automatizar devido às complexas interações entre vários objetos e à natureza de horizonte longo da tarefa. Trabalhos anteriores geralmente envolvem ampla coleta de dados e rotulagem humana custosa de priors semânticos para diversas categorias de objetos. Este artigo apresenta um método para aprender uma política robótica de armazenamento generalizável a partir de um modelo preditivo de interações entre objetos e de uma única demonstração com primitivas de comportamento. Propomos um novo framework que utiliza redes neurais de grafos (Graph Neural Networks) para prever interações entre objetos dentro do espaço de parâmetros das primitivas de comportamento. Além disso, empregamos uma otimização de trajetória aumentada por primitivas para buscar os parâmetros de uma biblioteca predefinida de primitivas de comportamento heterogêneas e instanciar a ação de controle. Nosso framework permite que robôs executem com proficiência tarefas de armazenamento de horizonte longo com poucos quadros-chave (3-4) de uma única demonstração. Apesar de ter sido treinado apenas em simulação, nosso framework demonstra notável capacidade de generalização. Ele se adapta de forma eficiente a um amplo espectro de condições do mundo real, incluindo várias larguras de prateleira, quantidades variáveis de objetos e objetos com atributos diversos, como tamanhos e formatos.

Open Source Robotics