Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions
著者: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026
ライセンス
- オープンアクセス
- 論文: arXiv.org perpetual, non-exclusive license 1.0
arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。
重要な理由
長期ホライズンのマニピュレーションは学習済みポリシーにとって難しい。誤差の累積を避けつつ将来のステップを実行可能に保たなければならないからだ。探索は結果を推論できるが、連続的で高次元の行動空間ではコストが高くなる。著者らは、DISCOがシミュレーションおよび実世界の再配置タスクにおいて、行動クローニング、強化学習、探索ベースのベースラインを上回ると報告している。
提案手法
DISCOは物理シミュレーション内でプログレッシブワイドニングを用いたモンテカルロ木探索を実行し、学習済みポリシーが連続行動を提案し、学習済み価値関数が進捗を評価する。得られたプランを定期的にポリシー・価値モデルへ蒸留し、テスト時にはシミュレータベースの探索を行わずにそのモデルを直接デプロイする。
概要
ポリシー学習は近年進歩したものの、長期的なマニピュレーションは依然として難しい。学習したポリシーは、誤差の蓄積を避けつつ将来の実行可能性を保たなければならないからである。探索ベースの計画はこうした将来の帰結を明示的に推論できるが、高次元の連続行動空間ではすぐに高コストになる。ここから中心的な問いが生じる。探索による長期的な推論を、連続行動空間のポリシーにどう移せばよいのか。そこで我々は DISCO：Distilled Tree Search over Continuous Actions を提案する。DISCO は物理シミュレーションの中で漸進的拡幅（progressive widening）付きの MCTS を用いて長期的なプランを生成する。探索中は、学習したポリシーが連続行動を提案し、学習した価値関数がタスク完了に向けた期待進捗によって行動を評価する。GPU で並列化したシミュレーションを用いて、DISCO は MCTS が生成したプランを定期的にポリシー・価値モデルへ蒸留し、以降の探索で使う行動提案と価値推定を改善する。最後に、学習したポリシー・価値モデルは、テスト時にシミュレーターベースの探索を必要とせず直接展開できる。シミュレーションと実世界の再配置タスクにおいて、DISCO は行動クローニング、強化学習、探索ベースのベースラインを上回る。
リンク
- arXiv 2610.25785: https://arxiv.org/abs/2610.25785
- PDF: https://arxiv.org/pdf/2610.25785
- コード: https://github.com/kallol-saha/DISCO
- プロジェクトページ: https://distilled-search.github.io/