Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions
作者: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026
授權條款
依 arXiv 的授權條款，以下內容僅依據摘要撰寫。
為何重要
長時程操作對學習而得的策略而言相當困難：它們必須避免誤差累積，同時讓後續步驟保持可行；搜尋能推理後果，但在連續的高維動作空間中代價高昂。作者報告 DISCO 在模擬與真實世界的重新排列任務上，優於行為複製、強化學習與以搜尋為基礎的基準方法。
提出的方法
DISCO 在物理模擬中執行漸進式擴寬的蒙地卡羅樹搜尋，由學習而得的策略提出連續動作、學習而得的價值函數為進展評分，定期將所得的規劃蒸餾至策略-價值模型，並在測試時直接部署該模型，不需以模擬器為基礎的搜尋。
摘要
儘管策略學習近來有所進展，長時程操作依然困難，因為學習而來的策略必須避免誤差累積，同時保有未來的可行性。以搜尋為基礎的規劃雖能明確推理這些未來後果，但在高維連續動作空間中很快就會變得代價高昂。這帶出一個核心問題：如何把搜尋得到的長時程推理轉移到連續動作空間中的策略？為此，我們提出 DISCO：Distilled Tree Search over Continuous Actions（連續動作上的蒸餾樹搜尋）。DISCO 在物理模擬中使用具漸進加寬的 MCTS 來產生長時程規劃。搜尋期間，學習而來的策略提出連續動作，學習而來的價值函數則依動作對完成任務的預期進展為其評分。藉由 GPU 平行模擬，DISCO 定期把 MCTS 產生的規劃蒸餾進策略-價值模型，藉此改善後續搜尋所用的動作提議與價值估計。最後，學習而來的策略-價值模型可以直接部署，測試時不需要以模擬器為基礎的搜尋。在模擬與真實世界的重新排列任務中，DISCO 的表現都優於行為複製、強化學習與以搜尋為基礎的基準方法。
連結
- arXiv 2610.25785: https://arxiv.org/abs/2610.25785
- PDF: https://arxiv.org/pdf/2610.25785
- 程式碼: https://github.com/kallol-saha/DISCO
- 專案頁面: https://distilled-search.github.io/