No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

Autori: Vito Mengers, Oliver Brock · ICRA 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Seguire il gradiente più ripido attraverso una rete di stimatori interconnessi risolve Blocks World e l'apertura di cassetti reali senza pianificatore, adattandosi all'incertezza e ai disturbi.

Perché è importante

Il metodo porta a termine manipolazioni in più passi senza calcolare un piano, e comportamenti come spostare la telecamera per ridurre l'incertezza, ritrovare una maniglia persa e ripetere la presa nascono dalla selezione del gradiente anziché essere programmati. Negli esperimenti con i cassetti ha continuato a funzionare quando il mobile veniva spostato o la maniglia veniva strappata dalla mano, situazioni in cui le baseline di pianificazione hanno perso prestazioni.

Problema

I pianificatori prevedono gli stati futuri per mettere in sequenza i sotto-obiettivi, ma l'incertezza si accumula lungo l'orizzonte di pianificazione, per cui piani costosi diventano spesso irrealizzabili in contesti dinamici o incerti. Il controllo miope basato sul gradiente si adatta rapidamente al feedback, ma è rimasto limitato a problemi continui a passo singolo, perché è difficile codificare i sotto-obiettivi in un'unica funzione potenziale che copra tutte le variazioni del compito e dell'ambiente.

Soluzione proposta

Gli autori codificano le regolarità del mondo in AICON, una rete di stimatori ricorsivi (componenti) collegati da interconnessioni attive il cui scambio di informazioni cambia con lo stato del sistema. Un costo obiettivo differenziabile viene espanso con la regola della catena lungo ogni percorso fino ai segnali di attuazione e, a ogni passo temporale, si segue solo il più ripido di questi gradienti, così che i gradienti che cambierebbero il regime di un'interconnessione agiscano come sotto-obiettivi impliciti. Lo schema viene applicato a Blocks World e a un compito di apertura di un cassetto parzialmente osservabile su un braccio Panda con una RBO Hand 3, un sensore di forza/coppia al polso e una telecamera RGB nella mano.

Idee chiave

Non occorre elencare i sotto-obiettivi: quando un'interconnessione attiva si trova in un regime stazionario, la regola della catena produce un gradiente che tenta di cambiare quel regime, e questo agisce come un sotto-obiettivo implicito.
Seguire solo il gradiente più ripido evita gradienti in conflitto; sommare invece i gradienti ha prodotto un comportamento instabile e a scatti e fallimenti occasionali nell'ablazione.
La percezione interattiva (triangolare il cassetto muovendo la telecamera sul polso) e il recupero dagli errori sono emersi dalla discesa del gradiente senza essere implementati esplicitamente.
I compiti con sotto-obiettivi in competizione, azioni irreversibili o arretramenti temporanei necessari, come la Torre di Hanoi, richiedono ancora la pianificazione.

Risultati principali

Blocks World (da 10 a 30 blocchi, da 0 a 15 torri): sia la discesa del gradiente di base sia la variante con un obiettivo attivamente interconnesso hanno risolto tutte le istanze, comprese quelle che richiedevano almeno 35 passi, con un numero di mosse vicino all'ottimo. Il testo afferma che sono state generate oltre 100 istanze; la didascalia della Fig. 2 parla di 130 problemi generati casualmente.
I problemi di disimpilamento sono stati risolti in modo ottimale; quelli di impilamento hanno mostrato mosse aggiuntive dovute a sotto-obiettivi in competizione, ridotte ma non eliminate interconnettendo l'obiettivo con lo stato corrente.
Apertura di cassetti reale con diverse incertezze a priori, rumore aggiunto ai sensori e disturbi lievi (mobile spostato) o forti (cassetto strappato dalla mano), dieci esecuzioni per scenario: 3 fallimenti su settanta prove, tutti dovuti a singolarità e auto-collisioni non modellate. L'abstract conta in totale cento prove con cassetti nel mondo reale.
Il metodo ha superato un pianificatore nello spazio degli stati con una traiettoria precalcolata e un pianificatore nello spazio delle credenze (belief space) con movimenti esplorativi; il pianificatore nello spazio delle credenze ha gestito l'incertezza ma ha avuto difficoltà con i disturbi forti, e il metodo è risultato computazionalmente meno costoso della pianificazione nello spazio delle credenze a 67 dimensioni.
Ablazioni su tre configurazioni iniziali e tre compiti alternativi (n = 5 per configurazione): ridurre le interconnessioni attive ha causato forti cali delle prestazioni, soprattutto nei compiti che richiedevano di regolare il punto di vista o di afferrare.

Limiti

I sotto-obiettivi in competizione e la mancanza di previsione portano a mosse subottimali; trovare in modo sistematico le scorciatoie di Blocks World (spostare i blocchi direttamente tra le torri) richiede pianificazione (secondo gli autori).
I compiti con azioni irreversibili, come distruggere oggetti, o con sotto-obiettivi in conflitto che richiedono arretramenti temporanei, come la Torre di Hanoi, richiedono ancora pianificazione (secondo gli autori).
Tutti e tre i fallimenti con i cassetti nel mondo reale sono dovuti a effetti che il sistema non modella: singolarità e auto-collisioni.
Ogni compito usa un proprio insieme specificato di stimatori, interconnessioni e costo obiettivo; l'articolo costruisce un sistema di questo tipo per Blocks World e uno per l'apertura dei cassetti.
La valutazione su robot reale riguarda una sola famiglia di compiti, l'apertura di cassetti, con dieci prove per scenario e cinque per configurazione di ablazione.

Impatto sul settore

Ha vinto l'IEEE ICRA 2025 Best Paper Award on Planning and Control ed è stato finalista dell'ICRA 2025 Best Paper Award on Robot Learning; 10 citazioni. L'articolo rimanda a una pagina del progetto con video supplementari, che a sua volta rimanda al repository di codice di AICON e a dei tutorial.

Abstract

Introduciamo un nuovo approccio basato sul gradiente per risolvere compiti sequenziali regolando dinamicamente il campo potenziale miope sottostante in risposta al feedback e alle regolarità del mondo. Questa regolazione tiene conto implicitamente dei sotto-obiettivi codificati in tali regolarità, consentendo di risolvere lunghi compiti sequenziali, come dimostrato risolvendo il dominio di pianificazione tradizionale di Blocks World senza alcuna pianificazione. A differenza dei metodi di pianificazione convenzionali, il nostro approccio guidato dal feedback si adatta ad ambienti incerti e dinamici, come dimostrato da cento prove nel mondo reale con la manipolazione di cassetti. Questi esperimenti evidenziano la robustezza del nostro metodo rispetto alla pianificazione e mostrano come la percezione interattiva e il recupero dagli errori emergano naturalmente dalla discesa del gradiente senza essere implementati esplicitamente. Ciò offre un'alternativa computazionalmente efficiente alla pianificazione per diversi compiti sequenziali, in linea con le osservazioni sulle strategie biologiche di risoluzione dei problemi.

Link

arXiv 2503.01732: https://arxiv.org/abs/2503.01732
DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
PDF: https://arxiv.org/pdf/2503.01732v1
Codice: https://github.com/tu-rbo/aicon
Pagina del progetto: https://www.tu.berlin/robotics/papers/noplan