Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions
作者: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026
许可协议
根据 arXiv 的许可协议，以下内容仅依据摘要撰写。
为何重要
长时程操作对学习得到的策略来说很困难：它们必须避免误差累积，同时保持后续步骤可行；搜索能够推理后果，但在连续的高维动作空间中代价高昂。作者报告，DISCO 在仿真和真实世界的重排任务上优于行为克隆、强化学习和基于搜索的基线方法。
提出的方法
DISCO 在物理仿真中运行渐进拓宽式蒙特卡洛树搜索，由学习得到的策略提出连续动作、学习得到的价值函数为进展打分，定期将所得规划蒸馏进策略-价值模型，并在测试时直接部署该模型，无需基于模拟器的搜索。
摘要
尽管策略学习近来取得了进展，长时程操作仍然困难，因为学习到的策略必须在避免误差累积的同时保持未来的可行性。基于搜索的规划虽然可以显式推理这些未来后果，但在高维连续动作空间中很快就会变得代价高昂。这引出一个核心问题：如何把搜索得到的长时程推理迁移到连续动作空间中的策略里？为此，我们提出 DISCO：Distilled Tree Search over Continuous Actions（连续动作上的蒸馏树搜索）。DISCO 在物理仿真中使用带渐进加宽的 MCTS 生成长时程规划。搜索过程中，学习到的策略提出连续动作，学习到的价值函数则按动作对完成任务的预期进展为其打分。借助 GPU 并行仿真，DISCO 定期把 MCTS 生成的规划蒸馏进策略-价值模型，从而改进后续搜索所用的动作提议和价值估计。最后，学习到的策略-价值模型可以直接部署，测试时无需基于仿真器的搜索。在仿真和真实世界的重排任务中，DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
链接
- arXiv 2610.25785: https://arxiv.org/abs/2610.25785
- PDF: https://arxiv.org/pdf/2610.25785
- 代码: https://github.com/kallol-saha/DISCO
- 项目主页: https://distilled-search.github.io/