Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions

Autoren: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held · CoRL 2026

Lizenzen

• Open Access
• Paper: arXiv.org perpetual, non-exclusive license 1.0

Gemäß der Lizenz von arXiv beruht alles Folgende nur auf dem Abstract.

Warum es wichtig ist

Manipulation über lange Horizonte ist für gelernte Policies schwierig, da sie sich aufschaukelnde Fehler vermeiden und zugleich künftige Schritte durchführbar halten müssen, und Suche kann Konsequenzen durchdenken, wird aber in kontinuierlichen, hochdimensionalen Aktionsräumen teuer. Die Autoren berichten, dass DISCO bei simulierten und realen Umordnungsaufgaben Behavior Cloning, Reinforcement Learning und suchbasierte Baselines übertrifft.

Lösungsansatz

DISCO führt in einer Physiksimulation eine Monte-Carlo-Baumsuche mit Progressive Widening aus, wobei eine gelernte Policy kontinuierliche Aktionen vorschlägt und eine gelernte Wertfunktion den Fortschritt bewertet, destilliert die resultierenden Pläne periodisch in das Policy-Value-Modell und setzt dieses Modell direkt ein, ohne simulatorbasierte Suche zur Testzeit.

Zusammenfassung

Trotz jüngster Fortschritte beim Policy-Lernen bleibt Manipulation über lange Horizonte schwierig, weil gelernte Policies sich aufschaukelnde Fehler vermeiden und zugleich die künftige Machbarkeit erhalten müssen. Suchbasierte Planung kann solche künftigen Folgen zwar explizit abwägen, wird aber in hochdimensionalen kontinuierlichen Aktionsräumen schnell teuer. Das wirft eine zentrale Frage auf: Wie lässt sich das Schließen über lange Horizonte aus der Suche auf Policies in kontinuierlichen Aktionsräumen übertragen? Dazu schlagen wir DISCO vor: Distilled Tree Search over Continuous Actions. DISCO nutzt MCTS mit Progressive Widening in einer Physiksimulation, um Pläne über lange Horizonte zu erzeugen. Während der Suche schlägt eine gelernte Policy kontinuierliche Aktionen vor, während eine gelernte Wertfunktion die Aktionen nach ihrem erwarteten Fortschritt zur Aufgabenerfüllung bewertet. Mithilfe GPU-parallelisierter Simulation destilliert DISCO die per MCTS erzeugten Pläne regelmäßig in das Policy-Wert-Modell und verbessert so die Aktionsvorschläge und Wertschätzungen für die folgenden Suchen. Schließlich lässt sich das gelernte Policy-Wert-Modell direkt einsetzen, ohne simulatorgestützte Suche zur Testzeit. In simulierten und realen Umordnungsaufgaben übertrifft DISCO Baselines aus Behavior Cloning, Reinforcement Learning und Suche.

Links

• arXiv 2610.25785: https://arxiv.org/abs/2610.25785
• PDF: https://arxiv.org/pdf/2610.25785
• Code: https://github.com/kallol-saha/DISCO
• Projektseite: https://distilled-search.github.io/