Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions

Autori: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026

Licenze

• Open access
• Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

La manipolazione a lungo orizzonte è difficile per le policy apprese, che devono evitare l'accumulo di errori mantenendo realizzabili i passi futuri, e la ricerca può ragionare sulle conseguenze ma diventa costosa negli spazi d'azione continui e ad alta dimensionalità. Gli autori riportano che DISCO supera behavior cloning, apprendimento per rinforzo e baseline basate sulla ricerca in compiti di riorganizzazione simulati e reali.

Soluzione proposta

DISCO esegue una ricerca ad albero Monte Carlo con allargamento progressivo in simulazione fisica, con una policy appresa che propone azioni continue e una funzione di valore appresa che valuta i progressi, distilla periodicamente i piani risultanti nel modello policy-valore e distribuisce direttamente quel modello, senza ricerca basata sul simulatore al momento del test.

Abstract

Nonostante i recenti progressi nell'apprendimento delle policy, la manipolazione a lungo orizzonte resta difficile perché le policy apprese devono evitare l'accumulo di errori preservando al tempo stesso la fattibilità futura. Sebbene la pianificazione basata sulla ricerca possa ragionare esplicitamente su queste conseguenze future, diventa rapidamente costosa negli spazi d'azione continui ad alta dimensionalità. Ciò pone una domanda centrale: come si può trasferire il ragionamento a lungo orizzonte della ricerca nelle policy in spazi d'azione continui? A tal fine proponiamo DISCO: Distilled Tree Search over Continuous Actions. DISCO usa MCTS con allargamento progressivo in una simulazione fisica per generare piani a lungo orizzonte. Durante la ricerca, una policy appresa propone azioni continue, mentre una funzione di valore appresa valuta le azioni in base al progresso atteso verso il completamento del compito. Grazie alla simulazione parallelizzata su GPU, DISCO distilla periodicamente i piani generati da MCTS nel modello policy-valore, migliorando le proposte di azione e le stime di valore usate nelle ricerche successive. Infine, il modello policy-valore appreso può essere impiegato direttamente, senza bisogno di una ricerca basata sul simulatore al momento del test. In compiti di riorganizzazione simulati e reali, DISCO supera le baseline di behavior cloning, apprendimento per rinforzo e ricerca.

Link

• arXiv 2610.25785: https://arxiv.org/abs/2610.25785
• PDF: https://arxiv.org/pdf/2610.25785
• Codice: https://github.com/kallol-saha/DISCO
• Pagina del progetto: https://distilled-search.github.io/