Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

Autores: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Demonstrações geradas pelo RRT têm alta entropia de ações, o que prejudica a clonagem de comportamento; dados de planejador mais consistentes treinam políticas de difusão para tarefas ricas em contato que se transferem zero-shot para o hardware.

Por que importa

O artigo mostra que o design do planejador, e não só a quantidade de dados, decide se a clonagem de comportamento a partir de demonstrações planejadas funciona: dados de menor entropia superaram os dados do RRT, probabilisticamente completo, embora o RRT cobrisse os estados um pouco melhor. Ele oferece uma forma de obter dados de treinamento para tarefas com contatos do braço inteiro e coordenação de vários dedos, que as interfaces de teleoperação atuais não conseguem demonstrar com facilidade.

Problema

A clonagem de comportamento funcionou principalmente onde humanos conseguem teleoperar as demonstrações, mas as interfaces de teleoperação comuns só rastreiam os efetuadores finais, então demonstrações com contato do braço inteiro ou coordenação de vários dedos são difíceis de coletar. O aprendizado por reforço como fonte de dados trata restrições como penalidades na recompensa, o que complica o design da recompensa e a transferência sim-to-real. O artigo pergunta como planejadores de contato baseados em modelos devem gerar dados de treinamento para essas tarefas.

Solução proposta

Um planejador que usa um modelo de contato suavizado e quase dinâmico propõe um plano, que é reexecutado em trechos em um simulador físico sem suavização de contato para produzir demonstrações de estado-ação; os estados alcançados são então reetiquetados como objetivos (hindsight goal relabelling). Uma política de difusão condicionada por objetivo (U-Net 1D com condicionamento FiLM) é treinada com esses dados. O planejador é alterado para ganhar consistência: uma busca gulosa para a tarefa bimanual e, para a tarefa na mão, um mapa de rotas probabilístico esparso sobre as 24 orientações canônicas do cubo, com primitivas fixas e preensões pré-calculadas.

Principais ideias

O RRT amostra subobjetivos a cada expansão da árvore, o que gera demonstrações com alta entropia de ações das quais é difícil aprender, especialmente com poucos dados.
Uma cobertura de estados melhor não deu políticas melhores: os dados do RRT cobriam um pouco mais de estados, mas treinaram políticas claramente piores que os dados do planejador guloso.
O reetiquetamento de objetivos em retrospecto (hindsight goal relabelling) transforma demonstrações subótimas ou fracassadas em pares de treinamento válidos para os estados que elas de fato alcançaram.
Na tarefa do cubo, um híbrido de uma política principal e uma política de ajuste final contorna o desequilíbrio dos dados e elevou o sucesso em simulação em cerca de 10 % em relação a uma única política unificada.
Foram usados horizontes de ação longos (40 e 60 passos) porque horizontes curtos davam movimentos bruscos pela alternância entre modos de ação.

Principais resultados

IiwaBimanual em simulação (100 posições iniciais): os dados do planejador guloso chegam a 99 % de sucesso com 100 demonstrações contra 44 % dos dados do Contact-RRT; com 500, 1.000 e 5.000 demonstrações são 98 %, 99 % e 100 % contra 63 %, 88 % e 84 %.
Simulação, 100 poses iniciais: AllegroHand-Easy 82 % e AllegroHand-Hard 68 % com a política híbrida, contra 74 % e 57 % com uma política unificada; IiwaBimanual 99 %.
AllegroHand em hardware (política híbrida): 15 de 24 tentativas bem-sucedidas em cada variante (62,5 %), com erros de orientação nas tentativas bem-sucedidas de 13,7 ± 5,9° (Easy) e 15,5 ± 5,2° (Hard).
IiwaBimanual em hardware: 18 de 20 tentativas bem-sucedidas (90 %); as tentativas fracassadas terminaram com cerca de 15° de erro de orientação, logo acima do limiar de 0,2 rad (11,5°).
A transferência foi zero-shot apesar da discrepância do modelo (objeto real de 1,25 kg e 0,59 m de diâmetro contra 1,0 kg e 0,6 m em simulação) e sem domain randomization.

Limitações

A política muitas vezes não reage a estados fora da distribuição ausentes dos dados de treinamento, uma consequência das primitivas pré-calculadas; isso acontece com mais frequência no hardware.
Uma correção no estilo DAgger é difícil de aplicar porque o planejador não consegue encontrar soluções a partir de configurações arbitrárias do sistema.
A política do IiwaBimanual às vezes oscila entre rotação no sentido horário e anti-horário, por isso muitas vezes leva mais tempo que o necessário; a política do AllegroHand às vezes usa sequências de primitivas mais longas que o necessário.
A melhor proporção de mistura de dados para uma política unificada do AllegroHand fica em aberto, e iniciar a inferência a partir da predição de ação anterior para reduzir os trancos fica para trabalhos futuros.
Não foi usado domain randomization da geometria ou do atrito do objeto ou do robô durante o treinamento ou a geração de dados.

Impacto na área

O artigo ganhou o RA-L Best Paper Award (listado como RA-L 2026) e tem 23 citações. Ele disponibiliza um vídeo dos experimentos em hardware (https://youtu.be/CxgjJmiiEhI); o artigo não menciona disponibilização de código ou de conjunto de dados.

Resumo

O enorme sucesso da clonagem de comportamento (BC) na manipulação robótica tem se limitado em grande parte a tarefas em que as demonstrações podem ser coletadas de forma eficaz por teleoperação humana. No entanto, demonstrações para tarefas de manipulação ricas em contato, que exigem uma coordenação complexa de múltiplos contatos, são difíceis de coletar devido às limitações das interfaces de teleoperação atuais. Investigamos como aproveitar o planejamento e a otimização baseados em modelos para gerar dados de treinamento para tarefas de manipulação destra ricas em contato. Nossa análise revela que planejadores populares baseados em amostragem, como o rapidly exploring random tree (RRT), embora eficientes para planejamento de movimento, produzem demonstrações com entropia desfavoravelmente alta. Isso motiva modificações em nosso pipeline de geração de dados que priorizam a consistência das demonstrações mantendo a diversidade de soluções. Combinado com uma abordagem de BC condicionada por objetivo e baseada em difusão, nosso método permite um aprendizado eficaz de políticas e a transferência zero-shot para o hardware em duas tarefas desafiadoras de manipulação ricas em contato.

Open Source Robotics