No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

Autoren: Vito Mengers, Oliver Brock · ICRA 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Dem steilsten Gradienten durch ein Netz miteinander verbundener Schätzer zu folgen, löst Blocks World und das Öffnen realer Schubladen ohne Planer und passt sich an Unsicherheit und Störungen an.

Warum es wichtig ist

Die Methode erledigt mehrstufige Manipulation, ohne einen Plan zu berechnen, und Verhaltensweisen wie das Bewegen der Kamera zur Verringerung der Unsicherheit, das Wiederfinden eines verlorenen Griffs und erneutes Greifen entstehen aus der Gradientenauswahl, statt programmiert zu sein. In den Schubladenexperimenten funktionierte sie weiter, wenn der Schrank verschoben oder der Griff aus der Hand gezogen wurde, während die Planungs-Baselines an Leistung verloren.

Problem

Planer sagen künftige Zustände voraus, um Teilziele in eine Reihenfolge zu bringen, doch die Unsicherheit wächst über den Planungshorizont, sodass aufwendige Pläne in dynamischen oder unsicheren Umgebungen oft undurchführbar werden. Kurzsichtige gradientenbasierte Regelung passt sich schnell an Rückmeldungen an, war aber auf kontinuierliche Einzelschrittprobleme beschränkt, weil sich Teilziele schwer in einer Potentialfunktion kodieren lassen, die alle Aufgaben- und Umgebungsvariationen abdeckt.

Lösungsansatz

Die Autoren kodieren die Regelmäßigkeiten der Welt in AICON, einem Netz rekursiver Schätzer (Komponenten), die durch aktive Verbindungen verknüpft sind, deren Informationsaustausch sich mit dem Systemzustand ändert. Eine differenzierbare Zielkostenfunktion wird mit der Kettenregel entlang jedes Pfads bis zu den Stellsignalen entwickelt, und in jedem Zeitschritt wird nur dem steilsten dieser Gradienten gefolgt, sodass Gradienten, die das Regime einer Verbindung ändern würden, als implizite Teilziele wirken. Das Muster wird auf Blocks World und auf eine teilweise beobachtbare Aufgabe zum Öffnen einer Schublade mit einem Panda-Arm mit RBO Hand 3, einem Kraft-Momenten-Sensor am Handgelenk und einer RGB-Kamera in der Hand angewendet.

Wichtigste Erkenntnisse

Teilziele müssen nicht aufgelistet werden: Befindet sich eine aktive Verbindung in einem stationären Regime, liefert die Kettenregel einen Gradienten, der dieses Regime zu ändern versucht, und dieser wirkt als implizites Teilziel.
Nur dem steilsten Gradienten zu folgen, vermeidet widersprüchliche Gradienten; die Gradienten stattdessen zu summieren, führte in der Ablation zu instabilem, ruckartigem Verhalten und gelegentlichem Scheitern.
Interaktive Wahrnehmung (Triangulieren der Schublade durch Bewegen der Handgelenkkamera) und Fehlerbehebung entstanden aus dem Gradientenabstieg, ohne explizit implementiert zu sein.
Aufgaben mit konkurrierenden Teilzielen, irreversiblen Aktionen oder notwendigen vorübergehenden Rückschritten, etwa die Türme von Hanoi, erfordern weiterhin Planung.

Hauptergebnisse

Blocks World (10 bis 30 Blöcke, 0 bis 15 Türme): Sowohl der einfache Gradientenabstieg als auch die Variante mit aktiv verbundenem Ziel lösten jede Instanz, auch solche, die mindestens 35 Schritte erforderten, nahe an der optimalen Zuganzahl. Laut Text wurden über 100 Instanzen erzeugt; laut Bildunterschrift von Fig. 2 waren es 130 zufällig erzeugte Probleme.
Probleme des Abstapelns wurden optimal gelöst; Probleme des Aufstapelns zeigten zusätzliche Züge durch konkurrierende Teilziele, die durch Verbinden des Ziels mit dem aktuellen Zustand verringert, aber nicht beseitigt wurden.
Reales Öffnen von Schubladen unter unterschiedlicher Vorab-Unsicherheit, zusätzlichem Sensorrauschen sowie leichten (Schrank verschoben) oder starken (Schublade aus der Hand gezogen) Störungen, zehn Läufe je Szenario: 3 Fehlschläge in siebzig Versuchen, alle durch nicht modellierte Singularitäten und Selbstkollisionen. Die Zusammenfassung zählt insgesamt einhundert reale Schubladenversuche.
Die Methode übertraf einen Zustandsraumplaner mit vorab berechneter Trajektorie und einen Belief-Space-Planer mit explorativen Bewegungen; der Belief-Space-Planer bewältigte Unsicherheit, hatte aber mit großen Störungen Mühe, und die Methode war rechnerisch günstiger als die 67-dimensionale Planung im Belief Space.
Ablationen über drei Anfangskonfigurationen und drei alternative Aufgaben (n = 5 je Einstellung): Weniger aktive Verbindungen führten zu starken Leistungseinbrüchen, am stärksten bei Aufgaben, die eine Anpassung des Blickwinkels oder Greifen erforderten.

Einschränkungen

Konkurrierende Teilziele und fehlende Voraussicht führen zu suboptimalen Zügen; um Abkürzungen in Blocks World (Blöcke direkt zwischen Türmen verschieben) zuverlässig zu finden, ist Planung nötig (von den Autoren angegeben).
Aufgaben mit irreversiblen Aktionen, etwa dem Zerstören von Objekten, oder mit widersprüchlichen Teilzielen, die vorübergehende Rückschritte erfordern, etwa die Türme von Hanoi, erfordern weiterhin Planung (von den Autoren angegeben).
Alle drei Fehlschläge in den realen Schubladenversuchen gingen auf Effekte zurück, die das System nicht modelliert: Singularitäten und Selbstkollisionen.
Jede Aufgabe nutzt einen eigenen festgelegten Satz von Schätzern, Verbindungen und Zielkosten; die Arbeit baut ein solches System für Blocks World und eines für das Öffnen von Schubladen.
Die Evaluation am realen Roboter umfasst eine Aufgabenfamilie, das Öffnen von Schubladen, mit zehn Versuchen je Szenario und fünf je Ablationseinstellung.

Wirkung auf das Fachgebiet

Gewann den IEEE ICRA 2025 Best Paper Award on Planning and Control und war Finalist für den ICRA 2025 Best Paper Award on Robot Learning; 10 Zitierungen. Die Arbeit verlinkt eine Projektseite mit ergänzenden Videos, die auf das AICON-Code-Repository und Tutorials verweist.

Zusammenfassung

Wir stellen einen neuartigen gradientenbasierten Ansatz zur Lösung sequenzieller Aufgaben vor, der das zugrunde liegende kurzsichtige Potentialfeld als Reaktion auf Rückmeldungen und die Regelmäßigkeiten der Welt dynamisch anpasst. Diese Anpassung berücksichtigt implizit in diesen Regelmäßigkeiten kodierte Teilziele und ermöglicht so die Lösung langer sequenzieller Aufgaben, wie die Lösung der klassischen Planungsdomäne Blocks World zeigt – ganz ohne Planung. Anders als herkömmliche Planungsmethoden passt sich unser rückmeldungsgetriebener Ansatz an unsichere und dynamische Umgebungen an, wie einhundert reale Versuche zur Schubladenmanipulation zeigen. Diese Experimente unterstreichen die Robustheit unserer Methode im Vergleich zur Planung und zeigen, wie interaktive Wahrnehmung und Fehlerbehebung auf natürliche Weise aus dem Gradientenabstieg hervorgehen, ohne explizit implementiert zu werden. Dies bietet eine recheneffiziente Alternative zur Planung für eine Vielzahl sequenzieller Aufgaben und steht zugleich im Einklang mit Beobachtungen zu biologischen Problemlösungsstrategien.

Open Source Robotics