Language-Driven Representation Learning for Robotics

Autores: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O Voltron combina reconstrução mascarada condicionada por linguagem com geração de legendas no Something-Something-v2 e supera MVP e R3M com os mesmos dados em um novo conjunto de avaliação robótica de cinco problemas.

Por que importa

O aprendizado de robôs precisa de características visuais para percepção, ancoragem de linguagem e controle, não apenas para controle. Com os mesmos dados de pré-treinamento e a mesma capacidade de modelo, o artigo mostra que a linguagem durante o pré-treinamento melhora os resultados mesmo em tarefas sem entrada de linguagem, e oferece um único conjunto de avaliação para comparar representações nesses problemas.

Problema

Representações visuais pré-treinadas com vídeo humano, como MVP (autocodificação mascarada) e R3M (aprendizado contrastivo), foram avaliadas principalmente em controle visuomotor. Testadas de forma mais ampla, são inconsistentes: o MVP vai bem na predição de affordances de pegada, mas tem dificuldades na imitação condicionada por linguagem, enquanto o R3M faz o inverso e se degrada completamente na predição de affordances de pegada.

Solução proposta

O Voltron alimenta quadros de vídeo e suas legendas em um pipeline de autocodificação mascarada cujo codificador de transformador incorpora visão e linguagem em conjunto. Com probabilidade α, ele gera a legenda a partir do contexto visual em vez de se condicionar a ela, equilibrando características de reconstrução de baixo nível e semântica de alto nível; três variantes são estudadas: V–Cond (um quadro, α = 0), V–Dual (dois quadros, α = 0) e V–Gen (dois quadros, α = 0,5). Os autores também constroem um conjunto de avaliação de cinco problemas: predição de affordances de pegada, ancoragem de expressões referenciais, controle visuomotor de tarefa única em simulação, imitação condicionada por linguagem em um braço Franka real e pontuação de intenção zero-shot.

Principais ideias

Condicionar a reconstrução mascarada à linguagem ajuda mesmo sem linguagem no teste: o V–Cond supera o R-MVP e o MVP maior (EgoSoup) na predição de affordances de pegada.
Nenhuma variante do Voltron é a melhor em tudo: a geração de linguagem (V–Gen) é necessária para a pontuação de intenção, mas prejudica algumas tarefas de controle, e o V–Cond, de quadro único, vai bem em tarefas não episódicas, mas fica atrás dos modelos de dois quadros no controle.
A modelagem generativa de linguagem se sustentou melhor do que a modelagem de linguagem mascarada: um M3AE reproduzido sobreajustou sua perda de linguagem até perplexidade 1 nas primeiras 20 épocas e teve pontuação menor em todas as avaliações testadas.
Fundir visão e linguagem dentro do codificador durante o pré-treinamento, em vez de combinar depois codificações separadas de texto e imagem, é a explicação dos autores para os grandes ganhos na ancoragem de expressões referenciais.
O pooling por atenção multicabeça (MAP) para extração de características melhorou todos os modelos ViT e quase dobrou o sucesso no controle visuomotor em comparação com o procedimento de extração do trabalho original do MVP.

Principais resultados

Predição de affordances de pegada (ARC Grasping, ViT-S): o V–Cond obtém 85,15 / 80,71 / 47,45 de precisão em Top-1 / Top-1% / Top-5%, contra 72,94 / 61,47 / 39,77 do R-MVP e 40,38 / 40,55 / 28,66 do R-R3M (Tabela 2).
Ancoragem de expressões referenciais (OCID-Ref, acurácia total com IoU de 0,25): V–Cond 89,38 contra R-R3M 63,30, R-MVP + DistilBERT 49,58 e CLIP ViT-B 68,35 (Tabela 3).
Escalar o V–Cond de ViT-S (22M parâmetros) para ViT-B (86M) eleva a precisão Top-5% de pegada de 47,45 para 62,33 e a acurácia total em expressões referenciais de 89,38 para 90,77.
Ablação (Tabela 4): sem linguagem, o Top-1% de pegada cai de 80,71 para 65,83, a acurácia em expressões referenciais de 89,38 para 53,44 e o sucesso no Franka Kitchen (n = 25) de 38,2 ± 5,09 para 33,1 ± 4,79; o R-M3AE obtém 52,79, 51,61 e 24,0 ± 4,21.
Pontuação de intenção zero-shot em vídeos do WHiRL: o V–Gen acompanha o progresso de 'abrir a torneira' tanto em vídeos humanos quanto de robô, enquanto CLIP e R3M dão pontuações ruidosas (qualitativo, Figura 7).
Imitação condicionada por linguagem com robô real (5 tarefas, 20 demonstrações cada): os modelos Voltron têm o maior sucesso e, junto com o R-MVP, continuam robustos a distratores visuais; esses números são apresentados apenas na Figura 6.

Limitações

Os autores não tinham poder computacional para treinar na escala dos MVP e R3M originais; as comparações diretas usam suas próprias reproduções no Something-Something-v2, e os modelos oficiais de MVP, R3M e CLIP são marcados como não diretamente comparáveis (segundo os autores).
Nenhuma representação é a mais forte em todas as tarefas; continuam existindo compromissos entre características de baixo e de alto nível (segundo os autores).
As taxas de sucesso absolutas no controle do Franka Kitchen continuam baixas; aprender políticas de malha fechada com dados limitados segue em aberto (segundo os autores).
O pré-treinamento usou no máximo contextos de dois quadros porque quatro quadros excediam a memória disponível, e α = 1 (apenas geração) não foi avaliado.
As pontuações de intenção não são perfeitas: depois que a torneira é aberta, as pontuações permanecem altas no vídeo humano, mas diminuem no vídeo do robô, por razões que os autores não conseguiram explicar.

Impacto na área

Finalista do prêmio de melhor artigo do RSS 2023 (Best Paper Award), com 242 citações. Os autores liberam os modelos pré-treinados V–Cond, V–Dual e V–Gen (além de um V–Cond ViT-Base e checkpoints intermediários), o código de pré-treinamento e de adaptação, os dados pré-processados do Something-Something-v2 com os lotes de treinamento exatos e um conjunto de avaliação independente.

Resumo

Trabalhos recentes em aprendizado de representações visuais para robótica demonstram a viabilidade de aprender a partir de grandes conjuntos de dados de vídeo de pessoas realizando tarefas cotidianas. Aproveitando métodos como autocodificação mascarada e aprendizado contrastivo, essas representações apresentam forte transferência para o aprendizado de políticas de controle visuomotor. Mas o aprendizado de robôs abrange um conjunto diverso de problemas além do controle, incluindo predição de affordances de pegada, aprendizado por imitação condicionado por linguagem e pontuação de intenção para colaboração humano-robô, entre outros. Primeiro, demonstramos que as representações existentes produzem resultados inconsistentes nessas tarefas: abordagens de autocodificação mascarada captam características espaciais de baixo nível à custa da semântica de alto nível, enquanto abordagens de aprendizado contrastivo captam o oposto. Em seguida, apresentamos o Voltron, um framework de aprendizado de representações guiado por linguagem a partir de vídeos humanos e legendas associadas. O Voltron equilibra a reconstrução visual condicionada por linguagem, para aprender padrões visuais de baixo nível, e a geração de linguagem ancorada visualmente, para codificar a semântica de alto nível. Também construímos um novo conjunto de avaliação que abrange cinco problemas distintos de aprendizado de robôs, uma plataforma unificada para avaliar de forma holística representações visuais para robótica. Por meio de experimentos abrangentes e controlados nos cinco problemas, constatamos que as representações guiadas por linguagem do Voltron superam o estado da arte anterior, especialmente em problemas específicos que exigem características de nível mais alto.

Open Source Robotics