Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions

Auteurs: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026

Licences

• Accès libre
• Article: arXiv.org perpetual, non-exclusive license 1.0

Selon la licence d'arXiv, tout ce qui suit est rédigé à partir du seul résumé.

Pourquoi c'est important

La manipulation à long horizon est difficile pour les politiques apprises, qui doivent éviter l'accumulation d'erreurs tout en gardant les étapes futures réalisables, et la recherche peut raisonner sur les conséquences mais devient coûteuse dans des espaces d'action continus et de grande dimension. Les auteurs rapportent que DISCO surpasse le clonage comportemental, l'apprentissage par renforcement et les méthodes de référence fondées sur la recherche sur des tâches de réarrangement simulées et réelles.

Solution proposée

DISCO exécute une recherche arborescente Monte Carlo à élargissement progressif dans une simulation physique, une politique apprise proposant des actions continues et une fonction de valeur apprise évaluant la progression, distille périodiquement les plans obtenus dans le modèle politique-valeur, et déploie ce modèle directement, sans recherche fondée sur le simulateur au moment du test.

Résumé

Malgré les progrès récents de l'apprentissage de politiques, la manipulation à long horizon reste difficile car les politiques apprises doivent éviter l'accumulation d'erreurs tout en préservant la faisabilité future. Si la planification par recherche peut raisonner explicitement sur ces conséquences futures, elle devient vite coûteuse dans des espaces d'action continus de grande dimension. Cela soulève une question centrale : comment transférer le raisonnement à long horizon issu de la recherche vers des politiques dans des espaces d'action continus ? À cette fin, nous proposons DISCO : Distilled Tree Search over Continuous Actions. DISCO utilise MCTS avec élargissement progressif dans une simulation physique pour générer des plans à long horizon. Pendant la recherche, une politique apprise propose des actions continues, tandis qu'une fonction de valeur apprise note les actions selon leur progrès attendu vers l'achèvement de la tâche. Grâce à une simulation parallélisée sur GPU, DISCO distille périodiquement les plans générés par MCTS dans le modèle politique-valeur, améliorant les propositions d'actions et les estimations de valeur utilisées lors des recherches suivantes. Enfin, le modèle politique-valeur appris peut être déployé directement, sans recherche dans un simulateur au moment du test. Sur des tâches de réarrangement simulées et réelles, DISCO surpasse les baselines de clonage de comportement, d'apprentissage par renforcement et de recherche.

Liens

• arXiv 2610.25785: https://arxiv.org/abs/2610.25785
• PDF: https://arxiv.org/pdf/2610.25785
• Code: https://github.com/kallol-saha/DISCO
• Page du projet: https://distilled-search.github.io/