VIMA: General Robot Manipulation with Multimodal Prompts
Autores: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023
Licenças
- Acesso aberto
- Artigo: CC BY 4.0
Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.
Em resumo
Formula tarefas de manipulação como prompts que intercalam texto e imagens, acrescenta o benchmark VIMA-Bench e propõe um agente com tokens de objetos e atenção cruzada que generaliza melhor do que projetos no estilo do Gato.
Por que importa
Uma única interface de prompts cobre alcance de objetivos, imitação de vídeo com uma única demonstração, ancoragem de conceitos novos e satisfação de restrições, de modo que uma única política pode ser treinada e comparada em todas elas. As ablações dão orientações de projeto concretas: tokens de objetos de comprimento variável e condicionamento por atenção cruzada superam tokenizadores de pixels brutos e o condicionamento somente decodificador, sobretudo em modelos pequenos e tarefas novas.
Problema
As tarefas robóticas são especificadas de formas diferentes, como demonstrações únicas, instruções em linguagem natural e objetivos visuais, e costumam ser tratadas por modelos especializados com arquiteturas, objetivos e pipelines de dados distintos. Nenhum benchmark oferecia um conjunto de tarefas com prompts multimodais acompanhado de um teste sistemático de generalização.
Solução proposta
As tarefas são escritas como prompts que intercalam texto e imagens. O VIMA codifica o prompt com um encoder T5-Base pré-treinado, transforma as imagens em tokens de objetos (caixas delimitadoras do Mask R-CNN mais recortes codificados pelo ViT) e decodifica poses discretizadas do efetor final para pegar e posicionar ou empurrar, com um transformador que alterna autoatenção causal e atenção cruzada ao prompt. Ele é treinado por clonagem de comportamento no VIMA-Bench, uma extensão do Ravens/PyBullet com 17 modelos de tarefa, 650.000 trajetórias especialistas bem-sucedidas (50.000 por tarefa, Seção 3; o resumo arredonda isso para mais de 600.000) e um protocolo de generalização em quatro níveis.
Principais ideias
- Tokens de objetos superam tokenizadores de pixels brutos (patches de imagem, Image Perceiver, token único por imagem); os autores levantam a hipótese de que tokenizadores de pixels gastam capacidade separando os objetos a partir dos pixels.
- Reduzir os objetos a um número fixo de tokens (Object Perceiver) é significativamente pior do que passar a sequência de objetos de comprimento variável, mesmo com as mesmas entradas de caixas delimitadoras.
- O condicionamento por atenção cruzada importa mais em modelos pequenos e nas tarefas novas do L4; uma variante somente decodificador atinge desempenho comparável em modelos maiores.
- O tamanho do encoder do prompt (T5 small 30M, base 111M, large 368M) não fez diferença significativa, por isso o T5-Base é o padrão.
- Com aumento de objetos (detecções falso-positivas injetadas aleatoriamente), o Mask R-CNN ajustado perde pouco desempenho em comparação com as caixas reais.
Principais resultados
- Controlador de 200 milhões de parâmetros: 81,5% (L1), 81,5% (L2), 78,7% (L3) e 48,6% (L4) de sucesso médio no VIMA-Bench, contra 58,0%, 53,1%, 46,0% e 16,8% do VIMA-Gato.
- L4 (tarefas novas) com um controlador de 20 milhões de parâmetros: 48,8% para o VIMA contra 12,3% para o VIMA-Gato, a base da melhoria relativa de 'até 2,9×'.
- Treinado com 10% dos dados, o VIMA atinge 46% no L4, contra 12,2% do VIMA-Gato treinado com o conjunto de dados completo (o número de '2,7×').
- Com 1% dos dados, o VIMA tem desempenho semelhante ao de baselines treinados com 10× mais dados no L1 e no L2.
- Ao passar para níveis mais difíceis, o VIMA mostra regressão mínima do L1 para o L2 e o L3, enquanto os baselines se degradam em até 20%; sua queda no L4 é metade da dos baselines.
Limitações
- Depende de um detector de objetos separado e herda seus erros, que podem surgir sob oclusão ou com formas de objetos fora da distribuição.
- Realismo do simulador e complexidade das tarefas limitados: o VIMA-Bench visa a capacidade multitarefa, a generalização e a compreensão multimodal, não o realismo físico.
- Primitivas de ação limitadas: apenas as ações de alto nível de pegar e posicionar e de empurrar/limpar do Transporter; um controle de nível mais baixo, como torques das juntas, exigiria modificações.
- Todos os experimentos são em simulação; o artigo não relata experimentos próprios com robôs reais.
- Todos os métodos, inclusive o VIMA, se degradam significativamente nas tarefas novas do L4, em que o VIMA fica abaixo de 50% de sucesso médio.
Impacto na área
Publicado na ICML 2023. O Semantic Scholar contabiliza 655 citações (14 de novembro de 2026). Os autores disponibilizam como código aberto o ambiente de simulação (VIMA-Bench), o conjunto de dados de treinamento, o código do algoritmo e os checkpoints do modelo pré-treinado.
Resumo
O aprendizado baseado em prompts surgiu como um paradigma bem-sucedido no processamento de linguagem natural, em que um único modelo de linguagem de uso geral pode ser instruído a executar qualquer tarefa especificada por prompts de entrada. No entanto, na robótica a especificação de tarefas assume várias formas, como imitar demonstrações únicas, seguir instruções em linguagem natural e alcançar objetivos visuais. Elas costumam ser consideradas tarefas diferentes e tratadas por modelos especializados. Mostramos que um amplo espectro de tarefas de manipulação robótica pode ser expresso com prompts multimodais, intercalando tokens textuais e visuais. Assim, desenvolvemos um novo benchmark de simulação composto por milhares de tarefas de mesa geradas proceduralmente com prompts multimodais, mais de 600.000 trajetórias de especialistas para aprendizagem por imitação e um protocolo de avaliação em quatro níveis para generalização sistemática. Projetamos um agente robótico baseado em transformador, o VIMA, que processa esses prompts e gera ações motoras de forma autorregressiva. O VIMA traz uma receita que alcança forte escalabilidade do modelo e eficiência de dados. Ele supera projetos alternativos no cenário mais difícil de generalização zero-shot em até 2,9× na taxa de sucesso das tarefas, com os mesmos dados de treinamento. Com 10× menos dados de treinamento, o VIMA ainda tem desempenho 2,7× melhor que a melhor variante concorrente. O código e os vídeos de demonstração estão disponíveis em https://vimalabs.github.io/
Links
- arXiv 2210.03094: https://arxiv.org/abs/2210.03094
- PDF: https://arxiv.org/pdf/2210.03094v2
- Código: https://github.com/vimalabs/VIMA
- Página do projeto: https://vimalabs.github.io/