Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions
저자: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
중요한 이유
장기 호라이즌 조작은 학습된 정책에 어렵다. 오차 누적을 피하면서 이후 단계를 실행 가능하게 유지해야 하기 때문이다. 탐색은 결과를 추론할 수 있지만 연속적인 고차원 행동 공간에서는 비용이 커진다. 저자들은 DISCO가 시뮬레이션과 실제 환경의 재배치 작업에서 행동 복제, 강화 학습, 탐색 기반 베이스라인을 능가한다고 보고한다.
제안 방법
DISCO는 물리 시뮬레이션에서 점진적 확장 방식의 몬테카를로 트리 탐색을 실행하며, 학습된 정책이 연속 행동을 제안하고 학습된 가치 함수가 진행 정도를 평가한다. 그렇게 얻은 계획을 주기적으로 정책-가치 모델에 증류하고, 테스트 시에는 시뮬레이터 기반 탐색 없이 그 모델을 직접 배포한다.
초록
정책 학습의 최근 발전에도 불구하고 장기 조작은 여전히 어렵다. 학습된 정책은 오류가 누적되는 것을 피하면서 미래의 실행 가능성도 유지해야 하기 때문이다. 탐색 기반 계획은 이러한 미래의 결과를 명시적으로 추론할 수 있지만, 고차원 연속 행동 공간에서는 금세 비용이 커진다. 여기서 핵심 질문이 생긴다. 탐색에서 얻은 장기 추론을 연속 행동 공간의 정책으로 어떻게 옮길 수 있을까? 이를 위해 우리는 DISCO: Distilled Tree Search over Continuous Actions를 제안한다. DISCO는 물리 시뮬레이션에서 점진적 확장(progressive widening)을 적용한 MCTS로 장기 계획을 생성한다. 탐색 중에는 학습된 정책이 연속 행동을 제안하고, 학습된 가치 함수가 작업 완료를 향한 기대 진척도로 행동을 평가한다. GPU 병렬 시뮬레이션을 이용해 DISCO는 MCTS가 생성한 계획을 주기적으로 정책-가치 모델에 증류하여, 이후 탐색에 쓰이는 행동 제안과 가치 추정을 개선한다. 마지막으로 학습된 정책-가치 모델은 테스트 시 시뮬레이터 기반 탐색 없이 바로 배치할 수 있다. 시뮬레이션과 실제 환경의 재배치 작업에서 DISCO는 행동 복제, 강화 학습, 탐색 기반 기준선을 능가한다.
링크
- arXiv 2610.25785: https://arxiv.org/abs/2610.25785
- PDF: https://arxiv.org/pdf/2610.25785
- 코드: https://github.com/kallol-saha/DISCO
- 프로젝트 페이지: https://distilled-search.github.io/