No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

Auteurs: Vito Mengers, Oliver Brock · ICRA 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Suivre le gradient le plus raide à travers un réseau d'estimateurs interconnectés résout Blocks World et l'ouverture réelle de tiroirs sans planificateur, en s'adaptant à l'incertitude et aux perturbations.

Pourquoi c'est important

La méthode accomplit une manipulation en plusieurs étapes sans calculer de plan, et des comportements comme déplacer la caméra pour réduire l'incertitude, retrouver une poignée perdue et reprendre une prise naissent de la sélection du gradient au lieu d'être programmés. Dans les expériences du tiroir, elle a continué de fonctionner quand le meuble était déplacé ou que la poignée était arrachée de la main, là où les baselines de planification perdaient en performance.

Problème

Les planificateurs prédisent des états futurs pour ordonner les sous-objectifs, mais l'incertitude s'accumule sur l'horizon de planification, de sorte que des plans coûteux deviennent souvent irréalisables dans des contextes dynamiques ou incertains. La commande myope fondée sur le gradient s'adapte rapidement au retour d'information, mais elle a été limitée aux problèmes continus en une seule étape, car il est difficile d'encoder les sous-objectifs dans une seule fonction de potentiel couvrant toutes les variations de tâche et d'environnement.

Solution proposée

Les auteurs encodent les régularités du monde dans AICON, un réseau d'estimateurs récursifs (composants) reliés par des interconnexions actives dont l'échange d'information change avec l'état du système. Un coût d'objectif différentiable est développé par la règle de dérivation en chaîne le long de chaque chemin jusqu'aux signaux d'actionnement, et à chaque pas de temps seul le plus raide de ces gradients est suivi, de sorte que les gradients qui changeraient le régime d'une interconnexion agissent comme des sous-objectifs implicites. Le schéma est appliqué à Blocks World et à une tâche partiellement observable d'ouverture de tiroir sur un bras Panda équipé d'une RBO Hand 3, d'un capteur d'effort au poignet et d'une caméra RGB dans la main.

Idées clés

• Il n'est pas nécessaire d'énumérer les sous-objectifs : lorsqu'une interconnexion active se trouve dans un régime stationnaire, la règle de dérivation en chaîne fournit un gradient qui tente de changer ce régime, et celui-ci agit comme un sous-objectif implicite.
• Ne suivre que le gradient le plus raide évite les gradients contradictoires ; additionner les gradients a au contraire donné, dans l'ablation, un comportement instable et saccadé et des échecs occasionnels.
• La perception interactive (trianguler le tiroir en déplaçant la caméra du poignet) et la reprise sur erreur ont émergé de la descente de gradient sans être implémentées explicitement.
• Les tâches comportant des sous-objectifs concurrents, des actions irréversibles ou des reculs temporaires nécessaires, comme les tours de Hanoï, exigent encore une planification.

Principaux résultats

• Blocks World (10 à 30 blocs, 0 à 15 tours) : la descente de gradient de base comme la variante avec un objectif activement interconnecté ont résolu toutes les instances, y compris celles nécessitant au moins 35 étapes, avec un nombre de coups proche de l'optimum. Le texte indique que plus de 100 instances ont été générées ; la légende de la Fig. 2 parle de 130 problèmes générés aléatoirement.
• Les problèmes de dépilement ont été résolus de façon optimale ; les problèmes d'empilement ont montré des coups supplémentaires dus à des sous-objectifs concurrents, réduits mais non supprimés en interconnectant l'objectif avec l'état courant.
• Ouverture réelle de tiroir sous diverses incertitudes a priori, avec bruit de capteur ajouté et perturbations légères (meuble déplacé) ou fortes (tiroir arraché de la main), dix exécutions par scénario : 3 échecs sur soixante-dix essais, tous dus à des singularités et à des auto-collisions non modélisées. Le résumé compte cent essais réels de tiroir au total.
• La méthode a surpassé un planificateur dans l'espace d'états avec une trajectoire précalculée et un planificateur dans l'espace des croyances avec des mouvements exploratoires ; ce dernier gérait l'incertitude mais peinait face aux fortes perturbations, et la méthode était moins coûteuse en calcul que la planification dans l'espace des croyances à 67 dimensions.
• Ablations sur trois configurations initiales et trois tâches alternatives (n = 5 par configuration) : réduire les interconnexions actives a provoqué de fortes baisses de performance, surtout dans les tâches nécessitant un ajustement du point de vue ou une saisie.

Limites

• Les sous-objectifs concurrents et le manque d'anticipation conduisent à des coups sous-optimaux ; trouver systématiquement les raccourcis de Blocks World (déplacer des blocs directement entre des tours) nécessite une planification (indiqué par les auteurs).
• Les tâches comportant des actions irréversibles, comme la destruction d'objets, ou des sous-objectifs contradictoires qui exigent des reculs temporaires, comme les tours de Hanoï, exigent encore une planification (indiqué par les auteurs).
• Les trois échecs des essais réels de tiroir proviennent tous d'effets que le système ne modélise pas : les singularités et les auto-collisions.
• Chaque tâche utilise son propre ensemble spécifié d'estimateurs, d'interconnexions et de coût d'objectif ; l'article construit un tel système pour Blocks World et un autre pour l'ouverture de tiroir.
• L'évaluation sur robot réel couvre une seule famille de tâches, l'ouverture de tiroir, avec dix essais par scénario et cinq par configuration d'ablation.

Impact sur le domaine

A remporté le prix IEEE ICRA 2025 Best Paper Award on Planning and Control et a été finaliste du prix ICRA 2025 Best Paper Award on Robot Learning ; 10 citations. L'article renvoie à une page de projet avec des vidéos supplémentaires, qui renvoie au dépôt de code AICON et à des tutoriels.

Résumé

Nous présentons une nouvelle approche fondée sur le gradient pour résoudre des tâches séquentielles en ajustant dynamiquement le champ de potentiel myope sous-jacent en réponse au retour d'information et aux régularités du monde. Cet ajustement prend implicitement en compte les sous-objectifs encodés dans ces régularités, ce qui permet de résoudre de longues tâches séquentielles, comme le montre la résolution du domaine de planification classique Blocks World, sans aucune planification. Contrairement aux méthodes de planification conventionnelles, notre approche guidée par le retour d'information s'adapte aux environnements incertains et dynamiques, comme le montrent cent essais réels impliquant la manipulation d'un tiroir. Ces expériences soulignent la robustesse de notre méthode par rapport à la planification et montrent comment la perception interactive et la reprise sur erreur émergent naturellement de la descente de gradient sans être implémentées explicitement. Cela offre une alternative efficace en calcul à la planification pour une variété de tâches séquentielles, tout en concordant avec les observations sur les stratégies biologiques de résolution de problèmes.

Liens

• arXiv 2503.01732: https://arxiv.org/abs/2503.01732
• DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
• PDF: https://arxiv.org/pdf/2503.01732v1
• Code: https://github.com/tu-rbo/aicon
• Page du projet: https://www.tu.berlin/robotics/papers/noplan