R3M: A Universal Visual Representation for Robot Manipulation

Autores: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O R3M pré-treina um codificador ResNet congelado com vídeos e legendas do Ego4D; a clonagem de comportamento sobre ele supera as características do CLIP, do MoCo e do ImageNet em 12 tarefas simuladas e em um Franka real com 20 demonstrações.

Por que importa

O codificador é disponibilizado como pesos pré-treinados de ResNet18, ResNet34 e ResNet50 que carregam com uma única chamada, então uma equipe pode treinar políticas de manipulação baseadas em imagens a partir de poucas demonstrações sem coletar dados do domínio para a parte de visão. As tarefas com o robô real foram aprendidas no apartamento de um estudante de pós-graduação a partir de 20 demonstrações teleoperadas cada.

Problema

Treinar de ponta a ponta políticas de manipulação baseadas em imagens com dados do domínio-alvo exige muitos dados e generaliza mal. A robótica não tem um modelo visual pré-treinado, comparável às características do ImageNet ou ao BERT, que possa ser baixado e reutilizado para qualquer tarefa de manipulação, e os conjuntos de dados de robôs existentes cobrem um número limitado de tarefas em, no máximo, um punhado de ambientes.

Solução proposta

O R3M treina um codificador de imagens ResNet no Ego4D, mais de 3.500 horas de vídeo humano egocêntrico com anotações de linguagem, usando três termos: uma perda contrastiva temporal para que quadros próximos no tempo tenham embeddings próximos, uma perda de alinhamento vídeo-linguagem que pontua se a mudança do primeiro quadro de um clipe para um quadro posterior corresponde à sua legenda, e penalidades L1 e L2 para embeddings esparsos e compactos. Em seguida o codificador é congelado, e as políticas posteriores são treinadas por clonagem de comportamento como um MLP de duas camadas sobre o embedding da imagem concatenado com a propriocepção do robô.

Principais ideias

Vídeo humano do dia a dia (Ego4D) serve como dado de pré-treinamento para representações visuais de robôs, mesmo que a corporeidade (embodiment) difira da do robô.
Os três termos de treinamento contribuem; remover o alinhamento vídeo-linguagem causa a maior queda, de 62,4 % para 53,2 % na média dos ambientes e de 65,0 % para 45,6 % no Adroit.
Os dados sozinhos não explicam o ganho: o MoCo treinado com os mesmos quadros do Ego4D marca cerca de 10 % menos que o R3M, e o modelo MVP cerca de 20 % menos, no Franka Kitchen e no Adroit.
A penalidade de esparsidade ajuda no Franka Kitchen e no MetaWorld, mas removê-la ajuda levemente no Adroit, o que os autores suspeitam ser porque o Adroit usa mais demonstrações.
A vantagem do R3M se mantém em todos os pontos de vista de câmera e tamanhos de conjunto de demonstrações testados, enquanto a ordem entre CLIP e MoCo (345) muda com o ponto de vista.

Principais resultados

Em 12 tarefas simuladas no MetaWorld, Franka Kitchen e Adroit, o R3M atinge cerca de 62 % de sucesso médio, mais de 20 % acima do treinamento do zero e mais de 10 % acima das características do CLIP, do ImageNet supervisionado e do MoCo (345).
O R3M é o melhor método em todos os 3 ambientes de simulação e em 11 de 12 tarefas.
Ablação (Tabela 1, todos os domínios): R3M completo 62,4 %, sem aumento por recorte 60,4 %, sem penalidade L1 59,4 %, sem alinhamento de linguagem 53,2 %.
Dados versus objetivo (Tabela 2): Franka Kitchen 53,1 % para o R3M, 42,0 % para o MoCo treinado no Ego4D, 27,0 % para o MVP; Adroit 65,0 %, 54,9 % e 51,4 %.
Franka Emika Panda real, 20 demonstrações e 10 tentativas por tarefa: o R3M tem média de 56 % contra 24 % do CLIP (fechar gaveta 80 % vs 70 %, máscara na cômoda 30 % vs 10 %, alface na frigideira 60 % vs 0 %, empurrar caneca 70 % vs 40 %, dobrar toalha 40 % vs 0 %).

Limitações

A avaliação se limita ao aprendizado por imitação, especificamente à clonagem de comportamento com um pequeno número de demonstrações; uma boa representação pré-treinada para aprendizado por reforço pode diferir de uma para imitação.
O R3M fornece apenas uma representação de estado de um único quadro; usá-la, ou seu módulo de ancoragem em linguagem, para aprendizado de recompensas ou especificação de tarefas fica para trabalho futuro.
A baseline MoCo (345) é configurada de forma diferente da de Parisi et al. (propriocepção, empilhamento de quadros), então seus números não são diretamente comparáveis entre os dois trabalhos.
A comparação no robô real cobre apenas R3M e CLIP, com 10 tentativas por tarefa.
As taxas de sucesso na simulação são o melhor valor alcançado em avaliações a cada 1.000 passos de treinamento, com média sobre sementes, pontos de vista e tamanhos de conjunto de demonstrações.

Impacto na área

Citado 541 vezes. Os autores disponibilizam modelos R3M pré-treinados com backbones ResNet18, ResNet34 e ResNet50, junto com o código de treinamento.

Resumo

Estudamos como representações visuais pré-treinadas com dados diversos de vídeo humano podem permitir o aprendizado eficiente em dados de tarefas posteriores de manipulação robótica. Concretamente, pré-treinamos uma representação visual com o conjunto de dados de vídeo humano Ego4D usando uma combinação de aprendizado contrastivo temporal, alinhamento vídeo-linguagem e uma penalidade L1 para incentivar representações esparsas e compactas. A representação resultante, R3M, pode ser usada como um módulo de percepção congelado para o aprendizado de políticas posterior. Em um conjunto de 12 tarefas de manipulação robótica simuladas, constatamos que o R3M melhora o sucesso nas tarefas em mais de 20 % em comparação com o treinamento do zero e em mais de 10 % em comparação com representações visuais de estado da arte como CLIP e MoCo. Além disso, o R3M permite que um braço Franka Emika Panda aprenda uma série de tarefas de manipulação em um apartamento real e bagunçado com apenas 20 demonstrações.

Open Source Robotics