GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

Autores: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um modelo no estilo GPT pré-treinado para prever vídeo em 38M clipes da web e depois ajustado para gerar quadros futuros e trajetórias de ação; 97,7 % de sucesso em 105 tarefas reais de mesa.

Por que importa

O relatório mostra que o vídeo da web pode trazer boa parte do conhecimento que uma política de manipulação precisaria, de outra forma, obter de dados de robôs: o GR-2 atinge 73,9 % de sucesso em 105 tarefas com apenas cerca de 50 demonstrações por tarefa e praticamente dobra o sucesso do GR-1 em fundos e cozinhas não vistos. Seus testes de bin picking com 122 objetos, incluindo itens transparentes, deformáveis e reflexivos, miram uma tarefa industrial que, segundo os autores, pode ser difícil para métodos baseados em modelos.

Problema

Coletar dados de robôs em larga escala é lento e sistemas com robôs reais escalam mal, o que limita o quanto uma política de manipulação pode se tornar geral. Um agente generalista precisa aprender muitas habilidades e ainda lidar com fundos, ambientes, objetos e instruções novos. O GR-1 anterior dos autores mostrou que o pré-treinamento com geração de vídeo ajuda o aprendizado de políticas, mas usava 0,8 milhão de vídeos e generalizava mal para cenas não vistas.

Solução proposta

O GR-2 é um transformador no estilo GPT condicionado por linguagem: um codificador de texto congelado tokeniza a instrução, um VQGAN congelado transforma cada quadro em tokens discretos e os estados do robô (pose do efetuador final e estado da garra) passam por camadas lineares. Ele é primeiro pré-treinado para prever quadros futuros em 38 milhões de clipes de texto e vídeo (mais de 50 bilhões de tokens segundo o resumo, aproximadamente 50 bilhões segundo a Seção 2.1) de conjuntos de dados de atividade humana e de conjuntos de dados públicos de robôs, e depois ajustado com dados de robôs multivista para prever imagens futuras junto com uma trajetória de ação vinda de um VAE condicional. No braço real, um algoritmo de controle de corpo inteiro suaviza a trajetória cartesiana e a converte em comandos articulares executados a 200 Hz com restrições de colisão.

Principais ideias

Escalar o pré-treinamento dos 0,8 milhão de vídeos do GR-1 para 38 milhões de clipes, junto com uma arquitetura construída para levar o conhecimento pré-treinado ao ajuste fino, praticamente dobrou o sucesso do GR-1 nos cenários Unseen Backgrounds e Unseen Environments.
Gerar trajetórias de ação em vez de ações de um único passo se mostrou crucial tanto para a suavidade da trajetória quanto para o desempenho em tempo real.
Os vídeos previstos se alinham de perto com as execuções reais, de modo que a saída de ações na prática 'reproduz' o vídeo previsto; os autores sugerem melhorar a geração de vídeo como caminho para ações melhores.
O aumento sintético de dados (inserção de objetos baseada em difusão, substituição de fundo baseada em SAM, regeneração de vídeo) elevou o sucesso em Unseen Environments de 71,7 % para 87,0 %.
A perda de validação da predição de vídeo e a taxa de sucesso no robô real melhoraram à medida que os parâmetros treináveis cresceram de 30M para 719M.

Principais resultados

Aprendizado multitarefa: 97,7 % de sucesso médio em 105 tarefas de mesa cobrindo 8 habilidades no cenário Simple, após ajuste fino com cerca de 40.000 trajetórias teleoperadas.
Generalização: 71,4 % em Unseen Backgrounds e 71,7 % em Unseen Environments, cerca do dobro do GR-1; com aumento de dados, 87,0 % em Unseen Environments e 74,7 % em média nos três cenários de generalização; 55,8 % em Unseen Manipulation.
Treinamento com poucos dados, com cerca de 50 trajetórias por tarefa (cerca de 1/8 dos dados): 73,9 % no cenário Simple, superando o GR-1 nos três cenários de generalização.
Bin picking de ponta a ponta treinado com cerca de 94.000 trajetórias de 55 objetos e testado com 122 objetos (67 não vistos): sucesso médio de 79,0 % contra 33,3 % do GR-1.
CALVIN ABCD→D: 98,6 % de sucesso para 1 tarefa e 85,9 % para 5 tarefas seguidas (GR-1: 94,9 % e 73,1 %), com o comprimento médio subindo de 4,21 para 4,64.
O modelo padrão tem 230M parâmetros, 95M deles treináveis; as execuções de escalonamento usam 30M, 95M, 312M e 719M parâmetros treináveis.

Limitações

Os autores identificam a manipulação não vista como a área mais fraca (55,8 %); as falhas típicas são não pegar objetos não vistos de formatos novos e pegar o objeto errado quando um objeto não visto é pedido.
O trabalho futuro que indicam é melhorar a generalização e a robustez da predição de ações, especialmente para objetos novos e novas habilidades.
Todos os resultados em robô real vêm de uma única plataforma, um braço Kinova Gen3 com uma garra Robotiq 2F-85; a transferência para outras incorporações não é testada.
O relatório não traz números de computação de treinamento, hardware de inferência ou latência da política, e a maioria dos números por cenário aparece apenas em figuras.
O texto não informa nenhuma disponibilização de código, pesos do modelo ou conjuntos de dados de robôs.

Impacto na área

Este relatório técnico da ByteDance Research tem 377 citações. Ele aponta para uma página do projeto (gr2-manipulation.github.io); o texto não informa a disponibilização de código, pesos do modelo ou dados.

Resumo

Apresentamos o GR-2, um agente robótico generalista de última geração para manipulação robótica versátil e generalizável. O GR-2 é primeiro pré-treinado com um grande volume de vídeos da Internet para capturar a dinâmica do mundo. Esse pré-treinamento em larga escala, envolvendo 38 milhões de clipes de vídeo e mais de 50 bilhões de tokens, dá ao GR-2 a capacidade de generalizar para uma ampla gama de tarefas e ambientes robóticos durante o aprendizado subsequente da política. Em seguida, o GR-2 é ajustado tanto para geração de vídeo quanto para predição de ações usando trajetórias de robôs. Ele apresenta capacidades impressionantes de aprendizado multitarefa, atingindo uma taxa de sucesso média de 97,7 % em mais de 100 tarefas. Além disso, o GR-2 demonstra uma generalização excepcional para cenários novos e nunca vistos, incluindo fundos, ambientes, objetos e tarefas novos. Notavelmente, o GR-2 escala de forma eficaz com o tamanho do modelo, o que ressalta seu potencial de crescimento e aplicação contínuos. Página do projeto: https://gr2-manipulation.github.io.

Open Source Robotics