RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Autores: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O RoboCook modela a interação entre massa e ferramenta com GNNs treinadas com 20 minutos de dados reais por ferramenta, escolhe ferramentas com um classificador PointNet++ e faz dumplings usando 15 ferramentas intercambiáveis.

Por que importa

O sistema mostra um braço de uso geral com um sistema de troca de ferramentas concluindo uma sequência de nove etapas para fazer um dumpling e se recuperando quando uma pessoa deforma, acrescenta ou substitui a massa no meio da tarefa. Como a política precisa de uma única passagem direta por ação, o planejamento leva segundos, em vez dos minutos que planejadores baseados em otimização precisam com o mesmo modelo aprendido.

Problema

Tarefas de corpos moles de horizonte longo, como fazer um dumpling, exigem uma escolha discreta de qual ferramenta usar e uma escolha contínua de como movê-la, enquanto a massa elastoplástica se deforma de maneiras difíceis de modelar. Métodos anteriores de dinâmica aprendida tratavam tarefas de horizonte curto com uma única ferramenta, e simuladores de objetos elastoplásticos apresentam uma lacuna sim-to-real perceptível.

Solução proposta

Quatro câmeras RGB-D fornecem uma nuvem de pontos combinada a partir da qual a massa é reconstruída como uma malha estanque e reamostrada em 300 partículas de superfície, concatenadas com partículas na malha da ferramenta. Uma GNN treinada com cerca de 20 minutos de dados de exploração aleatória por ferramenta prevê como a massa se deforma; um classificador PointNet++ propõe as três ferramentas mais prováveis para o próximo subobjetivo; e uma política PointNet++, treinada com dados sintéticos gerados pela GNN, produz os parâmetros de ação para pegar, pressionar e abrir com rolo, enquanto as demais ferramentas usam planejadores codificados à mão. O ciclo se fecha com feedback visual após cada ação.

Principais ideias

Treinar a GNN para prever apenas dois passos à frente foi suficiente para previsões precisas de 15 passos na inferência.
Uma política treinada offline com rollouts sintéticos da GNN cobre todo o espaço de ações e superou planejadores online (descida de gradiente, CEM e RL) que usavam as mesmas GNNs e o mesmo classificador de ferramentas.
Espaços de ações por ferramenta de dois a quatro parâmetros, derivados do espaço do efetuador final de 6 DoF removendo graus de liberdade redundantes, mantêm o planejamento tratável.
Um modelo dinâmico treinado apenas com massa de farinha, água e sal moldou uma letra K em Play-Doh, argila de secagem ao ar e espuma de modelar sem retreinamento.
Um classificador de ferramentas baseado em PointNet generalizou melhor que um baseado em ResNet, o que os autores atribuem à sua capacidade de codificar profundidade.

Principais resultados

Modelagem de letras (R, O, B, C, K): 100 participantes humanos reconheceram as letras do RoboCook com acurácia de 0,90 ± 0,11, contra 0,54 (RoboCraft), 0,52 (CEM+GNN), 0,48 (CEM+MPM) e 0,17 (RL+GNN).
Métricas de nuvem de pontos: distância de Chamfer de 0,0062 ± 0,0007 e Earth Mover's distance de 0,0042 ± 0,0006, as mais baixas entre os cinco métodos.
Tempo de planejamento de 9,3 ± 1,5 s contra 613,7 s (RoboCraft), 756,0 s (CEM+GNN), 1486,7 s (CEM+MPM) e 1867,9 s (RL+GNN); o pipeline completo do dumpling leva cerca de 10 s de planejamento.
O classificador de ferramentas atingiu acurácia por instância de 0,996 em uma partição de teste dos seus dados de treinamento.
Cinco participantes humanos usando as mesmas ferramentas se saíram notavelmente pior que o RoboCook ao escolher as ferramentas por conta própria, e de forma comparável ou pior quando recebiam a sequência de ferramentas e os subobjetivos.

Limitações

Segundo os autores: a massa às vezes gruda na ferramenta, e seria necessário um sistema automático de correção de erros.
Segundo os autores: o sistema depende de conhecimento prévio humano para o espaço de ações de cada ferramenta.
Segundo os autores: os subobjetivos são definidos por humanos; para eliminá-los seriam necessários abstração temporal de nível mais alto e planejamento no nível da tarefa.
Segundo os autores: cabos e tecidos exigiriam estimativa adicional de topologia.
A dinâmica e as políticas aprendidas cobrem apenas garras, rolos, prensas e punções; a faca, o cortador, o empurrador e as espátulas usam planejadores codificados à mão, e a ação do gancho é pré-codificada.

Impacto na área

Vencedor do CoRL 2023 Best Systems Paper Award; citado 137 vezes (número conforme informado). A página oficial do projeto traz links para o repositório de código do RoboCook e uma pasta de dados.

Resumo

Os humanos se destacam em tarefas complexas de manipulação de corpos moles de horizonte longo por meio do uso flexível de ferramentas: fazer pão exige uma faca para cortar a massa e um rolo para achatá-la. Frequentemente considerado uma marca da cognição humana, o uso de ferramentas em robôs autônomos continua limitado devido aos desafios de entender as interações entre ferramenta e objeto. Aqui desenvolvemos um sistema robótico inteligente, o RoboCook, que percebe, modela e manipula objetos elastoplásticos com várias ferramentas. O RoboCook usa representações da cena por nuvens de pontos, modela as interações entre ferramenta e objeto com redes neurais de grafos (Graph Neural Networks, GNNs) e combina a classificação de ferramentas com o aprendizado autossupervisionado de políticas para elaborar planos de manipulação. Demonstramos que, com apenas 20 minutos de dados de interação no mundo real por ferramenta, um braço robótico de uso geral pode aprender tarefas complexas de manipulação de objetos moles de horizonte longo, como fazer dumplings e biscoitos com letras do alfabeto. Avaliações extensivas mostram que o RoboCook supera substancialmente as abordagens do estado da arte, apresenta robustez contra perturbações externas severas e demonstra adaptabilidade a diferentes materiais.

Open Source Robotics