Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

Autores: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O UVD encontra subobjetivos em vídeos de demonstração onde as distâncias entre embeddings visuais pré-treinados param de diminuir e depois os usa para aprendizado por imitação condicionado a objetivos e modelagem de recompensa.

Por que importa

O UVD precisa apenas de demonstrações em vídeo e de um codificador pronto, e a etapa de decomposição acrescenta menos de 0,1 s por trajetória ao treinamento padrão de políticas. Os subobjetivos encontrados dessa forma permitem que uma política treinada em algumas ordens de tarefas execute ordens não vistas das mesmas subtarefas, o que reduz a necessidade de coletar demonstrações para cada sequência de tarefas.

Problema

A manipulação de horizonte longo sofre com erros cumulativos, grandes espaços de observação e de ação e sinais de aprendizado fracos, por isso as tarefas costumam ser divididas em subtarefas. Os métodos de decomposição existentes precisam de conhecimento específico da tarefa, como propriocepção ou uma estrutura de subtarefas conhecida, ou exigem modelos generativos computacionalmente pesados treinados em grandes conjuntos de dados, e por isso não podem ser aplicados diretamente a simples demonstrações em vídeo.

Solução proposta

O UVD usa um codificador visual pré-treinado e congelado (como VIP, R3M ou LIV) e trabalha de trás para a frente a partir do quadro final: dentro de uma subtarefa, a distância de embedding até o objetivo atual deveria cair de forma monótona, então o quadro mais recente em que essa monotonicidade se rompe torna-se o subobjetivo anterior, e o passo se repete até o início do vídeo. Os subobjetivos descobertos reetiquetam as demonstrações para clonagem de comportamento condicionada a objetivos e definem uma recompensa de RL como a redução, a cada passo, da distância de embedding até o subobjetivo atual. No teste, os objetivos vêm de uma busca do vizinho mais próximo (tarefa única) ou do encadeamento de uma sequência de subobjetivos dada.

Principais ideias

Representações treinadas em vídeos curtos para codificar o progresso da tarefa (VIP, R3M, LIV) dão distâncias entre embeddings quase monótonas dentro de uma subtarefa; ao longo de várias subtarefas, a curva de distância forma platôs nas mudanças de fase, o que marca os limites das subtarefas sem rótulos.
VIP e LIV, treinadas explicitamente para um progresso temporal suave, foram as que mais ganharam com o UVD, o que sustenta a afirmação de que representações treinadas temporalmente servem melhor à descoberta de subobjetivos do que modelos de imagens estáticas como CLIP e DINOv2.
Escolhas heurísticas de subobjetivos (um quadro dentro de uma janela fixa à frente, ou de 3 a 5 quadros aleatórios) tiveram desempenho comparável dentro do domínio, mas prejudicaram a generalização fora do domínio, porque geram subobjetivos redundantes e menos significativos.
Recompensas definidas em relação ao distante quadro final não guiaram a exploração de RL em uma tarefa de quatro etapas; recompensas por subobjetivo guiaram.
Como os embeddings são ruidosos, na prática são necessários um intervalo de tempo mínimo entre subobjetivos e a suavização da curva de distância (regressão kernel de Nadaraya-Watson).

Principais resultados

Aprendizado por imitação no FrankaKitchen com VIP e GCBC: o sucesso fora do domínio subiu de 0,035 para 0,188 e a conclusão fora do domínio de 0,236 para 0,566, com o sucesso dentro do domínio inalterado (0,736 vs 0,737).
O sucesso fora do domínio melhorou com todas as representações testadas: R3M de 0,014 para 0,084, LIV de 0,008 para 0,066, CLIP de 0,005 para 0,073, DINOv2 de 0,012 para 0,055 e, com uma política de transformador no estilo GPT sobre VIP, de 0,039 para 0,213.
RL no FrankaKitchen com PPO: o RL condicionado a objetivos usando o quadro final como objetivo atingiu sucesso 0,0; com as recompensas do UVD, o sucesso médio/máximo em 3 sementes foi 0,65/1,0 com VIP e 0,649/1,0 com R3M.
Franka real, sucesso fora do domínio em 20 execuções (GCBC vs GCBC + UVD): Apple-in-Oven 0,0 vs 0,25, Fries-and-Rack 0,0 vs 0,25, Fold-Cloth 0,0 vs 0,15.
Com interferência humana durante a execução (10 execuções), o sucesso passou de 0,0 para 0,5 em Apple-in-Oven e de 0,2 para 0,9 em Fries-and-Rack.
Tempo de decomposição em uma RTX A6000: 0,0023 s para um episódio médio do FrankaKitchen de 227 quadros e 0,011 s para um vídeo 720p de 698 quadros, após a codificação (0,155 s e 0,450 s).

Limitações

Validado apenas em tarefas de manipulação totalmente observáveis; os autores observam que navegação e outras tarefas corporificadas parcialmente observadas podem não gerar subobjetivos intuitivos ou explicáveis.
Os testes reais fora do domínio são mais curtos que as tarefas de treinamento: como as subtarefas reais dependem sequencialmente umas das outras, eles testam pular uma etapa que uma pessoa já concluiu.
A detecção de subobjetivos depende de um intervalo mínimo predefinido entre subobjetivos e de uma etapa de suavização, e o encadeamento de objetivos na inferência depende de um limiar de distância.
A avaliação com robô real abrange três tarefas, cada uma com cerca de 100 demonstrações teleoperadas e 20 execuções por configuração.
Os ganhos dependem da representação: o sucesso dentro do domínio com CLIP e DINOv2 ficou entre 0,32 e 0,39.

Impacto na área

Finalista do IEEE ICRA 2024 Best Paper Award in Robot Vision, com 44 citações. O artigo traz link para uma página de projeto e apresenta no apêndice o pseudocódigo em Python da decomposição; não traz link para um repositório de código.

Resumo

Tarefas robóticas do mundo real se estendem por horizontes longos e abrangem múltiplas etapas. No entanto, aprender tarefas de manipulação de horizonte longo é um desafio antigo e exige decompor a tarefa geral em várias subtarefas gerenciáveis para facilitar o aprendizado de políticas e a generalização para tarefas não vistas. Métodos anteriores de decomposição de tarefas exigem conhecimento específico da tarefa, são computacionalmente intensivos e não podem ser aplicados facilmente a novas tarefas. Para resolver essas deficiências, propomos o Universal Visual Decomposer (UVD), um método de decomposição de tarefas pronto para uso para manipulação visual de horizonte longo, que utiliza representações visuais pré-treinadas projetadas para controle robótico. Em linhas gerais, o UVD descobre subobjetivos detectando mudanças de fase no espaço de embeddings da representação pré-treinada. Operando puramente sobre demonstrações visuais, sem informação auxiliar, o UVD consegue extrair com eficácia os subobjetivos visuais embutidos nos vídeos, sem incorrer em nenhum custo adicional de treinamento além do treinamento padrão de políticas visuomotoras. Políticas condicionadas a objetivos aprendidas com subobjetivos descobertos pelo UVD apresentam generalização composicional significativamente melhor, no momento do teste, para tarefas não vistas. Além disso, os subobjetivos descobertos pelo UVD podem ser usados para construir uma modelagem de recompensa baseada em objetivos (reward shaping) que dá impulso inicial à exploração temporalmente estendida no aprendizado por reforço. Avaliamos o UVD extensivamente em tarefas de simulação e do mundo real e, em todos os casos, o UVD supera substancialmente as linhas de base em cenários de aprendizado por imitação e por reforço, tanto em sequências de tarefas dentro do domínio quanto fora dele, o que valida a clara vantagem da decomposição visual automatizada de tarefas no framework UVD, simples e compacto.

Open Source Robotics