OpenVLA

Modelo de Visão-Linguagem-Ação de 7B parâmetros para manipulação robótica

Licença

MIT

Visão geral

Um modelo de Visão-Linguagem-Ação de código aberto com 7B parâmetros para manipulação robótica. O OpenVLA é treinado com 970k demonstrações de robôs do mundo real e supera o RT-2-X (55B) em 16,5% na taxa absoluta de sucesso em 29 tarefas, com 7 vezes menos parâmetros. Construído sobre o modelo de linguagem Llama 2 combinado com os codificadores visuais DINOv2 e SigLIP, pode ser ajustado em GPUs de consumo e demonstra forte generalização em ambientes multitarefa, com sólida capacidade de ancoragem de linguagem.

O OpenVLA é um modelo de Visão-Linguagem-Ação (VLA) de código aberto com 7B parâmetros, projetado para manipulação robótica de uso geral. Treinado com 970.000 demonstrações de robôs do mundo real em 29 tarefas, alcança desempenho de ponta sendo 7 vezes menor que modelos comparáveis como o RT-2-X (55B parâmetros). Construído sobre o modelo de linguagem Llama 2 combinado com os codificadores visuais DINOv2 e SigLIP, o OpenVLA demonstra capacidade de generalização excepcional em ambientes multitarefa e pode ser ajustado em GPUs de consumo, tornando a IA avançada para robótica acessível a pesquisadores e desenvolvedores do mundo todo.

Por que importa

O OpenVLA demonstrou que um modelo de 7 bilhões de parâmetros pode superar modelos muito maiores (RT-2-X com 55B) para manipulação robótica, tornando os modelos de visão-linguagem-ação práticos em hardware de consumo. Ele provou que modelos fundacionais de robótica open source podem competir com alternativas proprietárias.

Problema que resolve

Modelos fundacionais de robótica anteriores como o RT-2-X exigiam enorme capacidade computacional (55 bilhões de parâmetros), tornando-os inacessíveis para a maioria dos pesquisadores. O OpenVLA mostra que arquiteturas eficientes podem alcançar melhores resultados a uma fração do custo, democratizando a pesquisa em modelos fundacionais de robótica.

Pontos principais

• Supera o RT-2-X (55B) em 16,5% com 7x menos parâmetros
• Construído sobre Llama 2 + DINOv2 + SigLIP, aproveitando backbones comprovados de LLM e visão
• Ajustável com LoRA em uma única GPU (os autores usam uma A100)
• Treinado com 970K demonstrações de robôs no mundo real
• Forte ancoragem na linguagem permite seguir instruções em 29 tarefas

Para quem é

• Pesquisadores de ML com orçamento computacional limitado
• Laboratórios de robótica fazendo ajuste fino para tarefas específicas
• Estudantes explorando modelos de visão-linguagem-ação
• Empresas avaliando abordagens de modelos fundacionais para robôs

Limitações

• Treinado principalmente em manipulação de mesa — limitado a cenários semelhantes
• Requer GPU para inferência (não adequado para implantação em borda sem otimização)
• O ajuste fino ainda requer dados de demonstração com robôs reais
• A fundamentação linguística funciona melhor para instruções de tarefas simples