Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Autores: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um único VLA de ~4B treinado em cinco estágios (dados da web, pré-treinamento multirrobô, ajuste por robô, RL) controla um humanoide e robôs de dois braços e de um braço por meio de um espaço de ação compartilhado de 64 posições.

Por que importa

O artigo dá receitas concretas e reutilizáveis para misturar conjuntos de dados de robôs heterogêneos: posições de ação unificadas com máscara, alinhamento de velocidade baseado em fluxo, métricas de qualidade para ponderar conjuntos de dados e um cronograma de amostragem que começa uniforme. Seu estágio de RL melhora uma política de flow matching sem retropropagar gradientes de RL para o modelo base, e a mesma família de checkpoints é avaliada em um humanoide real, em um robô colaborativo (cobot) real de dois braços e em dois benchmarks simulados.

Problema

Conjuntos de dados de robôs diferem no layout das observações, no espaço de ação e na taxa de amostragem, e sua qualidade varia de trajetórias trêmulas a quadros borrados. Preencher todas as ações em um único vetor faz uma política multirrobô tirar a média de alvos incompatíveis, e a clonagem de comportamento sozinha satura em tarefas de longo horizonte e ricas em contato. VLAs centrados em raciocínio que planejam com cadeia de pensamento acrescentam uma latência que o controle em tempo real não pode bancar.

Solução proposta

O treinamento ocorre em estágios: uma base PaliGemma (3B), ancoramento multimodal com dados da web em 24M amostras (L1), pré-treinamento em cerca de 3.000 horas de dados multirrobô (R0), ajuste fino específico do corpo (R1) e alinhamento por RL (R2), que melhora os dados com uma função Q e aprende um ator de ruído para o especialista de ações de flow matching. Um pipeline DataQA filtra episódios por tremor, nitidez, diversidade e variância de estado, uma reamostragem baseada em fluxo óptico iguala a velocidade de movimento entre conjuntos de dados, e um espaço de ação unificado de 64 dimensões com máscara e um prompt de corpo substitui o preenchimento com zeros. Na inferência, a política prevê o progresso do episódio, um detector OOD de mistura gaussiana empurra os estados de volta para a distribuição de treinamento, e um módulo de predição das juntas eleva para 3D um alvo 2D apontado por um VLM e guia o flow matching até ele.

Principais ideias

Preencher com zeros ações heterogêneas em um único vetor acrescenta uma perda espúria nas dimensões não usadas; mascarar a perda segundo um layout semântico fixo a elimina e permite que uma única política mantenha lado a lado a semântica das juntas e a cartesiana.
Começar a mistura de conjuntos de dados uniforme e movê-la gradualmente para os pesos-alvo impede que conjuntos grandes dominem um otimizador de alto momento e apaguem corpos raros.
Espelhar os episódios segundo a simetria bilateral do robô e inverter no tempo habilidades reversíveis ampliou 48 horas de gravações do humanoide para 167 horas efetivas de treinamento.
Guiar o amostrador de flow matching para um ponto-alvo 3D ancorado na linguagem eleva a coleta do item exato muito além do que a política consegue sozinha.
O alinhamento por RL que edita trajetórias com gradientes de Q ou aprende a distribuição do ruído de origem melhora o sucesso sem que os gradientes de RL toquem os pesos do modelo base.

Principais resultados

Limpeza de mesa real com AgileX Cobot Magic, checkpoint R0 sem ajuste fino contra referências ajustadas por 20.000 iterações: sucesso no primeiro item de 69,5% contra 38,4% do AgiBot GO-1 e 35,6% do π0, e tempo médio de limpeza de 1m35s contra 2m59s do π0.
Média geral no Simpler Google Robot: 60,2 (R0), 61,3 (R1) e 71,8 (R2), contra 56,8 do π0 com ajuste fino, 46,5 do RT-1-X e 33,8 do OpenVLA.
Sucesso médio no Simpler WidowX: 45,0 (R0), 55,2 (R1) e 79,1 (R2), contra 73,2 do DB-MemVLA e 27,1 do π0 com ajuste fino; o texto dá o ganho de R1 para R2 como 24% absolutos.
Comprimento médio de cadeia no CALVIN ABC→D: 3,6 para π0 R1, 4,18 para Green-VLA R1, 4,53 para Flower R1 e 4,63 para Green-VLA R2.
Coleta em prateleiras de e-commerce: a orientação por predição das juntas elevou o sucesso top-1 de 62,3% para 95,4% (nível de marca), de 36,7% para 93,1% (SKU exato) e de 10,2% para 72,8% (SKUs inéditos).
Sucesso do humanoide Green em seguir instruções conforme a Fig. 12: pegar 98%, colocar na cesta 100%, pegar da cesta 77%, entregar ao usuário 99%, passagem de mão 84%, limpeza completa da mesa 87%, média 90%.

Limitações

Os autores afirmam que o desempenho ainda depende da fidelidade do retargeting, do viés residual dos conjuntos de dados e da cobertura adequada de habilidades destras.
Não há garantia de que a etapa de RL de otimização de trajetórias melhore uma trajetória, por isso cada trajetória otimizada é validada por um operador que reinicia a cena e a reexecuta antes de ela ser adicionada aos dados.
No CALVIN, o modelo R1 (ACL 4,18) fica atrás do Flower R1 (4,53), e o espaço de ação unificado não é usado neste benchmark; o R2 chega a 4,63.
Os números de Flower, OpenVLA e RT-1-X no Simpler foram tirados de relatórios publicados em vez de reexecutados, e os resultados do humanoide são dados como porcentagens sem contagem de episódios; a legenda da Fig. 12 menciona configurações dentro e fora do domínio, mas o gráfico mostra uma única série.
A comparação de limpeza de mesa do R0 coloca um Green-VLA sem ajuste contra referências ajustadas com dados da tarefa, e um módulo de raciocínio leve e instruções multilíngues ficam para trabalhos futuros.

Impacto na área

Hugging Face daily papers: 311 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O artigo traz links para um repositório de código e uma página do projeto.

Resumo

Apresentamos o Green-VLA, um arcabouço Vision-Language-Action em estágios para implantação no mundo real no robô humanoide Green, mantendo a generalização entre corpos diversos. O Green-VLA segue um currículo de cinco estágios: (L0) VLMs fundacionais, (L1) ancoramento multimodal, (R0) pré-treinamento com múltiplos corpos, (R1) adaptação específica do corpo e (R2) alinhamento da política baseado em RL. A progressão constrói conhecimentos prévios semânticos e físicos, aprende affordances compartilhadas e alinha as políticas para execução de longo horizonte além da clonagem de comportamento. Em seu núcleo está uma pilha unificada de dados e controle para frotas de robôs. Um pipeline escalável de processamento de dados, incluindo DataQA e alinhamento temporal, filtra e sincroniza 3.000 horas de demonstrações; uma interface de ação unificada e ciente do corpo permite que uma única política controle humanoides, manipuladores móveis e braços de base fixa; e o controlador VLA é aprimorado com predição do progresso do episódio, detecção de dados fora da distribuição e um módulo de orientação baseado na predição das juntas que generaliza para objetos inéditos. Otimizado para o humanoide Green, o Green-VLA generaliza sem exemplos (zero-shot) para novos corpos e alcança desempenho de estado da arte em sistemas bimanuais e benchmarks, com o alinhamento por RL trazendo ganhos em taxa de sucesso, robustez e eficiência de longo horizonte.

Open Source Robotics