Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions

Autores: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026

Licencias

• Acceso abierto
• Artículo: arXiv.org perpetual, non-exclusive license 1.0

Según la licencia de arXiv, todo lo que sigue está escrito solo a partir del resumen.

Por qué importa

La manipulación de horizonte largo es difícil para las políticas aprendidas, que deben evitar la acumulación de errores sin dejar de mantener viables los pasos futuros, y la búsqueda puede razonar sobre las consecuencias, pero se vuelve costosa en espacios de acción continuos y de alta dimensión. Los autores informan de que DISCO supera a la clonación de comportamiento, al aprendizaje por refuerzo y a las líneas base basadas en búsqueda en tareas de reorganización simuladas y del mundo real.

Solución propuesta

DISCO ejecuta una búsqueda de árbol de Monte Carlo con ensanchamiento progresivo en simulación física, con una política aprendida que propone acciones continuas y una función de valor aprendida que puntúa el progreso; destila periódicamente los planes resultantes en el modelo de política-valor y despliega ese modelo directamente, sin búsqueda basada en el simulador en el momento de la prueba.

Resumen

A pesar de los avances recientes en el aprendizaje de políticas, la manipulación de largo horizonte sigue siendo difícil porque las políticas aprendidas deben evitar errores que se acumulan y a la vez preservar la viabilidad futura. Aunque la planificación basada en búsqueda puede razonar explícitamente sobre esas consecuencias futuras, se vuelve rápidamente costosa en espacios de acción continuos de alta dimensión. Esto plantea una pregunta central: ¿cómo puede transferirse el razonamiento de largo horizonte de la búsqueda a políticas en espacios de acción continuos? Para ello, proponemos DISCO: Distilled Tree Search over Continuous Actions. DISCO usa MCTS con ensanchamiento progresivo en simulación física para generar planes de largo horizonte. Durante la búsqueda, una política aprendida propone acciones continuas, mientras que una función de valor aprendida puntúa las acciones según su progreso esperado hacia la finalización de la tarea. Mediante simulación paralelizada en GPU, DISCO destila periódicamente los planes generados por MCTS en el modelo de política y valor, mejorando las propuestas de acción y las estimaciones de valor usadas en las búsquedas siguientes. Por último, el modelo de política y valor aprendido puede desplegarse directamente sin necesidad de búsqueda basada en simulador en el momento de la prueba. En tareas de reorganización simuladas y reales, DISCO supera a los baselines de clonación de comportamiento, aprendizaje por refuerzo y búsqueda.

Enlaces

• arXiv 2610.25785: https://arxiv.org/abs/2610.25785
• PDF: https://arxiv.org/pdf/2610.25785
• Código: https://github.com/kallol-saha/DISCO
• Página del proyecto: https://distilled-search.github.io/