LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

Autores: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O LIBERO é um benchmark simulado de 130 tarefas de manipulação condicionadas por linguagem com demonstrações humanas, criado para estudar como robôs transferem conhecimento declarativo e procedural entre tarefas.

Por que importa

Como três dos conjuntos separam conhecimento espacial, de objetos e de objetivos, uma queda de desempenho pode ser atribuída ao tipo de conhecimento que está sendo perdido. Os experimentos também questionam a prática comum: os algoritmos de aprendizado ao longo da vida testados tiveram menor transferência para frente que o simples ajuste fino sequencial, e o pré-treinamento supervisionado ingênuo podia prejudicar o aprendizado ao longo da vida posterior.

Problema

A pesquisa em aprendizado ao longo da vida estudou principalmente a transferência de conhecimento declarativo (entidades e conceitos) em tarefas de visão e linguagem. A tomada de decisão robótica também precisa de conhecimento procedural, saber como agir, e não havia como analisar sistematicamente que tipo de conhecimento um agente transfere ou esquece quando falha depois de aprender novas tarefas.

Solução proposta

O LIBERO gera tarefas proceduralmente sobre o robosuite: templates de linguagem são extraídos das anotações de atividades do Ego4D, arquivos de cena PDDL especificam objetos, layouts e estados iniciais, e os objetivos são conjunções de predicados como On(A, B) ou Open(X). São oferecidos quatro conjuntos: LIBERO-Spatial, LIBERO-Object e LIBERO-Goal (10 tarefas cada, cada um isolando um tipo de conhecimento) e LIBERO-100 (90 tarefas de horizonte curto e 10 de horizonte longo), com 50 demonstrações teleoperadas por tarefa. O estudo compara três arquiteturas de políticas (ResNet-RNN, ResNet-T, ViT-T) e cinco esquemas de aprendizado (ajuste fino sequencial, ER, EWC, PackNet e aprendizado multitarefa) treinados com clonagem de comportamento.

Principais ideias

A arquitetura da política importa tanto quanto o algoritmo de aprendizado ao longo da vida: backbones temporais baseados em transformadores (ResNet-T, ViT-T) funcionaram muito melhor que o ResNet-RNN em média.
Nenhum codificador visual foi o melhor em todos os casos: com ER, o ResNet-T superou o ViT-T em todos os conjuntos exceto o LIBERO-Object, o que os autores associam ao ViT lidar com maior variedade de objetos.
Os três algoritmos de aprendizado ao longo da vida tiveram menor transferência para frente que o ajuste fino sequencial; o PackNet evita o esquecimento, mas sua capacidade por tarefa cada vez menor o prejudicou no LIBERO-Long.
Descrições de tarefas semanticamente ricas codificadas com BERT, CLIP ou GPT-2 não deram ganho estatisticamente significativo em relação a embeddings de Task-ID.
A perda de clonagem de comportamento é um sinal enganoso para a seleção de checkpoints; o EWC às vezes teve a menor perda sem uma boa taxa de sucesso, então deve-se usar a taxa de sucesso.

Principais resultados

Com o ResNet-T, o ajuste fino sequencial teve a maior transferência para frente em todos os conjuntos: 0,54 (Long), 0,72 (Spatial), 0,78 (Object) e 0,77 (Goal).
O PackNet teve o menor esquecimento (transferência para trás negativa de 0,06 a 0,17) e a melhor AUC em Spatial, Object e Goal (0,63, 0,60, 0,75), mas o ER teve a melhor AUC no LIBERO-Long (0,32 contra 0,25).
O EWC teve o pior desempenho entre os algoritmos de aprendizado ao longo da vida, com AUC de 0,02 no LIBERO-Long e de 0,06 em Spatial e Goal.
No LIBERO-Long com PackNet, o ViT-T atingiu AUC de 0,34 contra 0,25 do ResNet-T e 0,03 do ResNet-RNN.
Os embeddings de linguagem no LIBERO-Long (ResNet-T com ER) deram transferência para frente de 0,48 (BERT), 0,52 (CLIP), 0,46 (GPT-2) e 0,50 (Task-ID), sem diferença significativa.
Os resultados são a média de três sementes, com cada tarefa treinada por 50 épocas com 50 demonstrações e avaliada em 20 execuções.

Limitações

Segundo os autores: os experimentos são um estudo inicial, deixando em aberto arquiteturas melhores para informação espacial e temporal, algoritmos com melhor transferência para frente e pré-treinamento que ajude o aprendizado ao longo da vida.
Segundo os autores: como o aprendiz ao longo da vida aprende principalmente com humanos, preservar a privacidade dos usuários pode se tornar crucial no longo prazo.
Os resultados dependem da ordem das tarefas: o desempenho do ER e do PackNet variou entre cinco ordenações, e a diferença foi estatisticamente significativa para o PackNet.
Todas as tarefas rodam em simulação no robosuite; o artigo não relata experimentos com robôs reais.
Apenas a clonagem de comportamento a partir de demonstrações é avaliada; o aprendizado por reforço fica de fora por causa da dificuldade das recompensas esparsas.

Impacto na área

Citado 607 vezes (número conforme informado). O artigo disponibiliza o pipeline de geração procedural de tarefas, quatro conjuntos de tarefas totalizando 130 tarefas e demonstrações teleoperadas por humanos para cada tarefa, com código e conjuntos de dados acessíveis pelo site do projeto.

Resumo

O aprendizado ao longo da vida oferece um paradigma promissor para construir um agente generalista que aprende e se adapta ao longo de sua vida útil. Diferentemente dos problemas tradicionais de aprendizado ao longo da vida nos domínios de imagem e texto, que envolvem principalmente a transferência de conhecimento declarativo sobre entidades e conceitos, o aprendizado ao longo da vida na tomada de decisão (LLDM) também exige a transferência de conhecimento procedural, como ações e comportamentos. Para avançar a pesquisa em LLDM, apresentamos o LIBERO, um novo benchmark de aprendizado ao longo da vida para manipulação robótica. Especificamente, o LIBERO destaca cinco tópicos de pesquisa centrais em LLDM: 1) como transferir de forma eficiente conhecimento declarativo, conhecimento procedural ou uma mistura de ambos; 2) como projetar arquiteturas de políticas eficazes e 3) algoritmos eficazes para LLDM; 4) a robustez de um aprendiz ao longo da vida em relação à ordem das tarefas; e 5) o efeito do pré-treinamento do modelo para LLDM. Desenvolvemos um pipeline de geração procedural extensível que, em princípio, pode gerar infinitas tarefas. Para fins de benchmarking, criamos quatro conjuntos de tarefas (130 tarefas no total) que usamos para investigar os tópicos de pesquisa citados. Para apoiar o aprendizado eficiente em amostras, fornecemos dados de demonstração de alta qualidade teleoperados por humanos para todas as tarefas. Nossos extensos experimentos apresentam várias descobertas reveladoras ou até inesperadas: o ajuste fino sequencial supera os métodos existentes de aprendizado ao longo da vida em transferência para frente, nenhuma arquitetura de codificador visual se destaca em todos os tipos de transferência de conhecimento, e o pré-treinamento supervisionado ingênuo pode prejudicar o desempenho dos agentes no LLDM subsequente. Confira o site https://libero-project.github.io para o código e os conjuntos de dados.

Open Source Robotics