Evaluating Real-World Robot Manipulation Policies in Simulation

Autores: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

SIMPLER: versões simuladas de código aberto das configurações do Google Robot e do WidowX/BridgeData V2 cujas classificações de políticas acompanham os resultados reais (MMRV 0,031, r 0,976 em Pick Coke Can).

Por que importa

Equipes que iteram sobre políticas de aprendizado por imitação ganham um sinal barato e repetível que acompanha o desempenho real, e o artigo mostra que o MSE das ações na validação é um indicador ruim dele (tabela I). Os ambientes são instalados com pip, usam a interface padrão do Gym e renderizam 3,5k passos de simulação por segundo em uma RTX 4090, o que os autores apresentam como uma aceleração de 7× em relação à avaliação real.

Problema

Políticas de manipulação generalistas precisam ser testadas em muitas tarefas e cenas, e a avaliação com robôs reais nessa amplitude é cara, lenta e difícil de reproduzir entre laboratórios. Construir gêmeos digitais completos para simulação também é custoso, pois exige geometria, materiais, iluminação e propriedades físicas feitos à mão.

Solução proposta

Os autores constroem simulações que são realistas apenas o suficiente para que as taxas de sucesso simuladas e reais classifiquem as políticas da mesma forma. Eles fecham a lacuna de controle identificando a rigidez e o amortecimento do controlador simulado (recozimento simulado sobre o erro de rastreamento do efetuador final em relação a dados de demonstração existentes), e a lacuna visual usando 'tela verde' para pôr um fundo real atrás dos objetos simulados em primeiro plano e ajustando as texturas dos objetos e do braço robótico a imagens reais. Eles também propõem a métrica Mean Maximum Rank Violation (MMRV), que pondera cada erro de classificação pela diferença de desempenho no mundo real entre as políticas classificadas incorretamente.

Principais ideias

Não é necessário um gêmeo digital exato: a simulação só precisa preservar a classificação relativa das políticas.
O r de Pearson sozinho pode enganar, pois recompensa um ajuste linear e oscila com pouco ruído quando as políticas têm desempenho parecido; o MMRV pondera cada violação de classificação pela diferença de desempenho real.
As correções visuais só ajudam quando aplicadas em conjunto: fundo com tela verde mais gaveta e robô com texturas ajustadas deram o menor MMRV na tarefa da gaveta (0,050), enquanto combinações parciais não foram melhores que a referência de 0,087.
A identificação do sistema do controlador importa: rigidez e amortecimento perturbados elevaram o MMRV de Pick Coke Can de 0,031 para 0,070–0,100.
A simulação pode prever sensibilidades reais ainda não testadas, como a sensibilidade do Octo-Base à textura do braço robótico, que um experimento real com os braços embrulhados em papel de presente confirmou depois.

Principais resultados

Google Robot com Visual Matching: MMRV 0,031 / r 0,976 em Pick Coke Can, 0,111 / 0,855 em Move Near e 0,000 / 0,969 em Open Drawer and Place Apple. Para Open/Close Drawer, a Fig. 6 relata 0,055 / 0,915, enquanto a coluna Drawer da tabela I relata 0,027 / 0,942; o artigo não explica a diferença.
Média sobre as tarefas do Google Robot (tabela I): Visual Matching MMRV 0,056 e r 0,924, Variant Aggregation 0,143 e 0,778, MSE das ações na validação 0,375 e 0,308.
WidowX com tarefas do BridgeData V2: MMRV médio 0,014 e r 0,890; todas as políticas foram classificadas corretamente em todas as tarefas, exceto uma.
Mudanças de distribuição em dois checkpoints do RT-1: MMRV 0,000 / r 0,831 sem aumento de dados e 0,016 / 0,970 com ele; novas cores lisas de mesa reduziram o sucesso real em 4 % e o simulado em 2 %, e texturas estampadas em 25 % o real e 24 % o simulado.
Reproduzido no Isaac Sim com Variant Aggregation em Pick Coke Can e Move Near: MMRV 0,058 / r 0,919, contra 0,082 / 0,923 no SAPIEN.
O Octo-Base obteve 0 % em simulação com a textura do braço não ajustada e 29,3 % com uma ajustada; alterar a massa do objeto, o atrito da garra ou o atrito da junta do armário mudou as taxas de sucesso em até 15 %, enquanto as correlações se mantiveram altas.

Limitações

Apenas a manipulação de objetos rígidos é coberta; objetos deformáveis ficam para trabalhos futuros com simulação de corpos flexíveis.
A tela verde se limita a câmeras fixas e não reproduz sombras dos objetos nem outros detalhes visuais.
Criar ambientes ainda exige trabalho manual para selecionar assets e montar cenas; objetos articulados como o armário são os que dão mais trabalho.
As propriedades físicas são simplificadas (densidades uniformes consultadas com o GPT-4 ou em buscas na web, valores de atrito genéricos), e não se espera que as taxas de sucesso absolutas coincidam com o mundo real, apenas as classificações.
A avaliação real de uma política nas tarefas da gaveta foi interrompida após 2 ensaios por risco de danificar o robô, então esse MMRV é uma estimativa superior.

Impacto na área

Citado 426 vezes. Os autores disponibilizam todos os ambientes do SIMPLER, o código de inferência de políticas para RT-1, RT-1-X e Octo e um guia para construir novos ambientes em simpler-env.github.io, além de scripts de linha de comando para ajuste de texturas (github.com/Jiayuan-Gu/GeTex).

Resumo

A área da robótica fez avanços significativos em direção a políticas generalistas de manipulação robótica. No entanto, a avaliação dessas políticas no mundo real não é escalável e enfrenta desafios de reprodutibilidade, que provavelmente vão piorar à medida que as políticas ampliam o espectro de tarefas que conseguem executar. Identificamos as disparidades de controle e visuais entre ambientes reais e simulados como desafios centrais para uma avaliação simulada confiável e propomos abordagens para mitigar essas lacunas sem precisar criar gêmeos digitais de fidelidade total dos ambientes do mundo real. Em seguida, empregamos essas abordagens para criar o SIMPLER, uma coleção de ambientes simulados para avaliação de políticas de manipulação em configurações comuns de robôs reais. Por meio de avaliações pareadas em simulação e no mundo real de políticas de manipulação, demonstramos forte correlação entre o desempenho das políticas nos ambientes do SIMPLER e no mundo real. Além disso, constatamos que as avaliações no SIMPLER refletem com precisão modos de comportamento das políticas no mundo real, como a sensibilidade a diversas mudanças de distribuição. Disponibilizamos como código aberto todos os ambientes do SIMPLER, junto com nosso fluxo de trabalho para criar novos ambientes, em https://simpler-env.github.io, para facilitar a pesquisa sobre políticas de manipulação de uso geral e frameworks de avaliação simulada.

Open Source Robotics