What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Autores: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Seis algoritmos de aprendizado offline testados em 5 tarefas de manipulação simuladas e 3 reais: o BC-RNN, dependente do histórico, é o que melhor aprende com demonstrações humanas, enquanto o RL em lote tem dificuldades com dados humanos.

Por que importa

Para quem coleta dados teleoperados, o estudo dá configurações concretas: usar uma política dependente do histórico, incluir uma câmera de punho e randomização de imagem por deslocamento de pixels, manter enxutas as entradas proprioceptivas e esperar que a seleção do checkpoint pela perda de validação escolha uma política mais fraca. Hiperparâmetros ajustados em simulação foram aplicados a um braço Franka real sem ajuste no mundo real e ainda assim produziram políticas funcionais para Lift e Can.

Problema

O aprendizado por imitação e o aprendizado por reforço em lote (offline) a partir de demonstrações humanas careciam de conjuntos de dados humanos de código aberto e de implementações reprodutíveis para manipulação robótica, por isso era difícil julgar quais métodos e escolhas de projeto funcionam. Demonstrações humanas diferem de dados gerados por máquina: podem não ser markovianas, sua qualidade varia entre operadores e a perda de treinamento é apenas um substituto para a taxa de sucesso da tarefa usada na avaliação.

Solução proposta

Os autores coletaram demonstrações teleoperadas por meio do RoboTurk para cinco tarefas simuladas (Lift, Can, Square, Transport, Tool Hang), como conjuntos de dados Proficient-Human de um único operador (200 demonstrações) e Multi-Human de seis operadores (300 demonstrações), além de conjuntos de dados gerados por máquina para Lift e Can e conjuntos de dados reais de 200 demonstrações em um braço Franka para Lift, Can e Tool Hang. Eles treinaram BC, BC-RNN, HBC, BCQ, CQL e IRIS com observações de baixa dimensão e de imagem, avaliaram online em simulação cada checkpoint e variaram o espaço de observação, os hiperparâmetros, o tamanho do conjunto de dados e a regra de seleção de políticas.

Principais ideias

Modelos dependentes do histórico (BC-RNN, HBC, IRIS) aprendem muito melhor com demonstrações humanas do que o BC simples; a diferença entre BC-RNN e BC cresce com o horizonte da tarefa (cerca de 55 % em Transport (PH) contra cerca de 5 % em Square (PH)) e com dados de vários operadores.
BCQ e CQL vão bem com dados de qualidade mista gerados por máquina, mas têm desempenho ruim em conjuntos de dados humanos, mesmo em um conjunto de diagnóstico com demonstrações bem-sucedidas e malsucedidas pareadas de um único operador.
O projeto das observações importa: acrescentar a velocidade do efetuador final ou os estados das juntas reduziu o desempenho dos agentes de baixa dimensão em 49 %–88 % (relativo), enquanto remover a randomização por deslocamento de pixels ou a câmera de punho prejudicou os agentes com imagens.
Selecionar um checkpoint pela menor perda de validação ou pela última época deu políticas de 10 % a 100 % piores que o melhor checkpoint, então a seleção offline de políticas continua sendo um problema em aberto.
Tarefas simples (Lift, Can) atingiram 75 %–100 % de sucesso com 20 % dos dados, enquanto tarefas complexas (Square, Transport) continuaram melhorando à medida que os dados cresciam.

Principais resultados

BC-RNN com dados Proficient-Human de baixa dimensão (3 sementes): Lift 100 %, Can 100 %, Square 84,0 %, Transport 71,3 %, Tool Hang 19,3 %.
BC-RNN com observações de imagem: Square (PH) 82,0 %, Transport (PH) 72,0 %, Tool Hang (PH) 67,3 %, contra 41,3 %, 0,7 % e 3,3 % do BCQ.
Com dados Multi-Human de baixa dimensão, o BCQ atingiu 62,7 % em Can e 14,0 % em Square, contra 100 % e 78,0 % do BC-RNN.
Nas misturas de Square com 200 demonstrações e diferentes qualidades de operador, o BC-RNN obteve 55,3 %, 73,3 % e 74,0 %, abaixo dos seus 84,0 % no conjunto de dados Square (PH) de 200 demonstrações de um único operador.
Braço Franka real, BC-RNN, último checkpoint em 30 execuções, sem ajuste no mundo real: Lift 96,7 %, Can 73,3 %, Tool Hang 3,3 %.
Na tarefa Can real, remover a randomização por deslocamento de pixels derrubou o sucesso para 26,7 % e remover a câmera de punho, para 43,3 %.

Limitações

Os resultados em simulação relatam o melhor checkpoint encontrado avaliando online cada checkpoint, o que os autores observam não ser viável em um robô real; os resultados reais usam, em vez disso, o último checkpoint.
Os experimentos reais cobrem três tarefas com 30 execuções cada e sem ajuste de hiperparâmetros no mundo real; os autores chamam esses resultados de limite inferior, e a política real de Tool Hang teve sucesso em 3,3 % das execuções.
Só existem conjuntos de dados gerados por máquina para Lift e Can, porque o agente de RL não conseguiu resolver as outras tarefas mesmo com ajuste considerável.
O estudo compara seis algoritmos existentes em vez de propor uma solução; fechar a lacuna do RL em lote com dados humanos e melhorar a seleção offline de políticas ficam para trabalho futuro.
A cópia do PMLR faz referência a apêndices (detalhes das tarefas, Tabelas 27 e 28 sobre o tamanho do conjunto de dados, hiperparâmetros de BCQ e CQL) que não estão incluídos nela.

Impacto na área

Citado 548 vezes (número conforme informado). Os autores disponibilizaram em código aberto os conjuntos de dados e todas as implementações dos algoritmos na página do projeto, oferecendo um conjunto compartilhado de tarefas de manipulação com demonstrações humanas e baselines para comparar métodos de aprendizado offline.

Resumo

Imitar demonstrações humanas é uma abordagem promissora para dotar robôs de diversas capacidades de manipulação. Embora avanços recentes tenham sido feitos em aprendizado por imitação e em aprendizado por reforço em lote (offline), a falta de conjuntos de dados humanos de código aberto e de métodos de aprendizado reprodutíveis torna difícil avaliar o estado da área. Neste artigo, conduzimos um estudo extenso de seis algoritmos de aprendizado offline para manipulação robótica em cinco tarefas de manipulação de várias etapas simuladas e três do mundo real, de complexidade variada e com conjuntos de dados de qualidade variada. Nosso estudo analisa os desafios mais críticos ao aprender a partir de dados humanos offline para manipulação. Com base no estudo, derivamos uma série de lições, incluindo a sensibilidade a diferentes escolhas de projeto algorítmico, a dependência da qualidade das demonstrações e a variabilidade conforme o critério de parada, devida aos objetivos diferentes no treinamento e na avaliação. Também destacamos oportunidades do aprendizado a partir de conjuntos de dados humanos, como a capacidade de aprender políticas competentes em tarefas desafiadoras de várias etapas além do alcance dos métodos atuais de aprendizado por reforço, e a capacidade de escalar facilmente para cenários de manipulação naturais do mundo real em que apenas sinais sensoriais brutos estão disponíveis. Disponibilizamos em código aberto nossos conjuntos de dados e todas as implementações dos algoritmos para facilitar pesquisas futuras e comparações justas no aprendizado a partir de dados de demonstração humana em https://arise-initiative.github.io/robomimic-web/

Open Source Robotics