Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

Autores: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

Licenças

Acesso aberto
Artigo: CC0 1.0 Universal

Tudo o que segue se baseia no artigo completo, que os autores liberaram sob CC0 1.0 Universal; sua figura é mostrada com crédito aos autores.

Em resumo

O FISH acrescenta um resíduo aprendido a uma política base fixa em malha aberta ou de vizinho mais próximo, recompensado por correspondência por transporte ótimo com 1–3 demonstrações, e se adapta a posições de objetos não vistas em ≤20 minutos.

Por que importa

A única entrada da tarefa é menos de um minuto de demonstrações: sem estimação de estado, sem recompensa construída à mão e sem um grande conjunto de demonstrações, com treinamento online limitado a 20 minutos. Como só o resíduo é aprendido, a exploração pode ser limitada a dimensões de ação escolhidas, o que, como os autores mostram, evitou as colisões de dedos e as poses inseguras vistas quando o ROT explorava todas as dimensões na Allegro Hand.

Problema

Políticas de imitação visual precisam de muitas demonstrações para cobrir variações como a posição do objeto; o artigo cita o MIME com 400 demonstrações por tarefa e o robomimic com 200. Adaptar uma política offline com RL online pode reduzir isso, mas o RL precisa de uma recompensa, e recompensas específicas da tarefa são difíceis de construir quando os estados dos objetos não podem ser estimados.

Solução proposta

O FISH funciona em duas fases. Primeiro, uma política base não paramétrica fraca (reprodução em malha aberta ou recuperação por vizinho mais próximo com VINN) é ajustada a cerca de um minuto de demonstrações (1–3 trajetórias). Em seguida, uma política residual treinada com DDPG de n passos acrescenta deslocamentos corretivos à ação base, recompensada por uma correspondência de transporte ótimo de Sinkhorn entre as observações da câmera do robô e a demonstração, calculada com um codificador congelado vindo da clonagem de comportamento.

Principais ideias

Manter a política base fixa e aprender apenas deslocamentos residuais superou o ajuste fino online de uma política BC (ROT) em todas as tarefas da Tabela I.
Políticas base não paramétricas (VINN, malha aberta) funcionaram melhor do que a BC paramétrica nesse regime de poucos dados; a BC teve desempenho ruim no espaço de ação de 16 dimensões da Allegro Hand.
Codificadores treinados por clonagem de comportamento com as poucas demonstrações do domínio deram melhores resultados do que codificadores ImageNet, R3M ou MVP pré-treinados com grandes dados fora do domínio.
Congelar o codificador (para que as recompensas OT permaneçam estacionárias) e condicionar o resíduo à ação base são ambos necessários; remover qualquer um deles reduziu o sucesso (Tabela V).
Restringir a exploração residual a eixos de ação escolhidos melhorou a eficiência amostral, enquanto regularizar adaptativamente os deslocamentos em direção a zero prejudicou o desempenho.

Principais resultados

Taxa média de sucesso de 93 % em 9 tarefas do mundo real com 3 robôs, cerca de 3,8× maior que métodos anteriores (resumo); a introdução formula o mesmo número como uma 'melhoria de 93 % na taxa de sucesso' com 20 minutos de interação online.
Tabela I: 1,0 em abrir porta, abrir gaveta e acionar interruptor de luz (Stretch, 5 tentativas cada) e em virar um cubo e girar uma tampa de garrafa (Allegro Hand); 0,8 em pegar uma nota de dólar, 0,9 em pino no copo e em virar um bagel, 0,8 em inserir chave (10 tentativas cada).
A melhor baseline em qualquer tarefa individual da Tabela I chega no máximo a 0,6 (ROT no interruptor de luz e na inserção de chave); em abrir porta, abrir gaveta, virar o cubo e girar a tampa, nenhuma baseline passa de 0,2.
Sem regularização adaptativa dos deslocamentos, o sucesso foi de 0,9 em virar o bagel e 0,8 em pegar a nota, contra 0,4 e 0,4 com ela (Tabela II).
Substituir o codificador BC por codificadores pré-treinados derrubou virar o bagel de 0,9 para 0,0 (ImageNet), 0,0 (R3M) e 0,3 (MVP), e pegar a nota de 0,8 para 0,0, 0,1 e 0,0 (Tabela IV).
Com objetos novos após 5 minutos de aprendizado online, o sucesso variou de 0,9 a 0,0 para pães e de 0,8 a 0,0 para notas e cartões; um pão sírio macio e uma carteira grossa falharam completamente (Fig. 8).

Limitações

As recompensas OT alinham o robô às demonstrações, então o método depende de quem demonstra ser especialista (segundo os autores).
Entradas apenas visuais dificultam tarefas de precisão com sinais visuais fracos, como encontrar um buraco de fechadura que ocupa uma parte minúscula da imagem; os autores sugerem sensoriamento tátil (segundo os autores).
A política residual é inicializada aleatoriamente; os autores observam que pré-treiná-la poderia ajudar em tarefas mais difíceis que exigem controle mais preciso (segundo os autores).
O sucesso cai à medida que os objetos diferem mais do demonstrado, chegando à falha completa com um pão sírio e uma carteira.
Cada tarefa é avaliada em 10 posições de objeto (xArm, Allegro Hand) ou 5 inicializações do robô (Stretch).

Impacto na área

Vencedor do prêmio de melhor artigo de estudante do RSS 2023 (Best Student Paper Award), com 113 citações. Os autores liberam código e vídeos do robô em fast-imitation.github.io, e a página do projeto aponta para o repositório de código.

Resumo

Embora o aprendizado por imitação nos ofereça um conjunto de ferramentas eficiente para treinar robôs, aprender habilidades robustas a variações do ambiente continua sendo um desafio significativo. As abordagens atuais enfrentam esse desafio apoiando-se em grandes quantidades de demonstrações que cobrem as variações do ambiente ou em funções de recompensa feitas à mão que exigem estimativas de estado. Nenhuma das duas direções é escalável para uma imitação rápida. Neste trabalho, apresentamos o Fast Imitation of Skills from Humans (FISH), uma nova abordagem de aprendizado por imitação capaz de aprender habilidades visuais robustas com menos de um minuto de demonstrações humanas. Dada uma política base fraca treinada por imitação offline das demonstrações, o FISH calcula recompensas que correspondem à "correspondência" entre o comportamento do robô e as demonstrações. Essas recompensas são então usadas para atualizar de forma adaptativa uma política residual que se soma à política base. Em todas as tarefas, o FISH exige no máximo vinte minutos de aprendizado interativo para imitar as demonstrações em configurações de objetos que não foram vistas nas demonstrações. É importante destacar que o FISH foi construído para ser versátil, o que permite usá-lo com diferentes morfologias de robô (por exemplo, xArm, Allegro, Stretch) e configurações de câmera (por exemplo, terceira pessoa, câmera na mão). Nossas avaliações experimentais em 9 tarefas diferentes mostram que o FISH alcança uma taxa média de sucesso de 93 %, cerca de 3,8× maior do que os métodos anteriores de estado da arte.

Open Source Robotics