Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions
Autores: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026
Licenças
- Acesso aberto
- Artigo: arXiv.org perpetual, non-exclusive license 1.0
Conforme a licença do arXiv, tudo o que segue foi escrito apenas a partir do resumo.
Por que importa
A manipulação de horizonte longo é difícil para políticas aprendidas, que precisam evitar o acúmulo de erros e, ao mesmo tempo, manter os passos futuros viáveis, e a busca consegue raciocinar sobre consequências, mas se torna cara em espaços de ação contínuos e de alta dimensão. Os autores relatam que o DISCO supera clonagem de comportamento, aprendizado por reforço e baselines baseadas em busca em tarefas de rearranjo simuladas e no mundo real.
Solução proposta
O DISCO executa uma busca em árvore de Monte Carlo com alargamento progressivo em simulação física, com uma política aprendida propondo ações contínuas e uma função de valor aprendida pontuando o progresso, destila periodicamente os planos resultantes no modelo de política-valor e implanta esse modelo diretamente, sem busca baseada em simulador no momento do teste.
Resumo
Apesar dos avanços recentes no aprendizado de políticas, a manipulação de longo horizonte continua difícil porque as políticas aprendidas precisam evitar erros que se acumulam e ao mesmo tempo preservar a viabilidade futura. Embora o planejamento baseado em busca possa raciocinar explicitamente sobre essas consequências futuras, ele se torna rapidamente caro em espaços de ação contínuos de alta dimensão. Isso levanta uma questão central: como o raciocínio de longo horizonte da busca pode ser transferido para políticas em espaços de ação contínuos? Para isso, propomos o DISCO: Distilled Tree Search over Continuous Actions. O DISCO usa MCTS com alargamento progressivo em simulação física para gerar planos de longo horizonte. Durante a busca, uma política aprendida propõe ações contínuas, enquanto uma função de valor aprendida pontua as ações pelo progresso esperado rumo à conclusão da tarefa. Usando simulação paralelizada na GPU, o DISCO destila periodicamente os planos gerados pelo MCTS no modelo de política e valor, melhorando as propostas de ação e as estimativas de valor usadas nas buscas seguintes. Por fim, o modelo de política e valor aprendido pode ser implantado diretamente, sem necessidade de busca baseada em simulador no momento do teste. Em tarefas de rearranjo simuladas e reais, o DISCO supera baselines de clonagem de comportamento, aprendizado por reforço e busca.
Links
- arXiv 2610.25785: https://arxiv.org/abs/2610.25785
- PDF: https://arxiv.org/pdf/2610.25785
- Código: https://github.com/kallol-saha/DISCO
- Página do projeto: https://distilled-search.github.io/