No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

Autores: Vito Mengers, Oliver Brock · ICRA 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Seguir el gradiente más pronunciado a través de una red de estimadores interconectados resuelve Blocks World y la apertura de cajones reales sin planificador, adaptándose a la incertidumbre y a las perturbaciones.

Por qué importa

El método completa manipulaciones de varios pasos sin calcular un plan, y comportamientos como mover la cámara para reducir la incertidumbre, volver a encontrar un tirador perdido y volver a agarrar surgen de la selección de gradientes en lugar de programarse. En los experimentos con cajones siguió funcionando cuando se movía el mueble o se sacaba el tirador de la mano, situaciones en las que las líneas base de planificación perdieron rendimiento.

Problema

Los planificadores predicen estados futuros para ordenar los subobjetivos, pero la incertidumbre se acumula a lo largo del horizonte de planificación, por lo que los planes costosos a menudo se vuelven inviables en entornos dinámicos o inciertos. El control miope basado en gradientes se adapta rápidamente a la retroalimentación, pero se ha limitado a problemas continuos de un solo paso, porque es difícil codificar los subobjetivos en una única función potencial que cubra todas las variaciones de la tarea y del entorno.

Solución propuesta

Los autores codifican las regularidades del mundo en AICON, una red de estimadores recursivos (componentes) unidos por interconexiones activas cuyo intercambio de información cambia con el estado del sistema. Un coste de objetivo diferenciable se desarrolla con la regla de la cadena a lo largo de cada camino hasta las señales de actuación y, en cada paso de tiempo, solo se sigue el más pronunciado de estos gradientes, de modo que los gradientes que cambiarían el régimen de una interconexión actúan como subobjetivos implícitos. El patrón se aplica a Blocks World y a una tarea de apertura de cajón parcialmente observable en un brazo Panda con una RBO Hand 3, un sensor de fuerza/par en la muñeca y una cámara RGB en la mano.

Ideas clave

• No hace falta enumerar los subobjetivos: cuando una interconexión activa se encuentra en un régimen estacionario, la regla de la cadena da un gradiente que intenta cambiar ese régimen, y este actúa como un subobjetivo implícito.
• Seguir solo el gradiente más pronunciado evita gradientes en conflicto; sumar los gradientes en su lugar dio un comportamiento inestable y brusco y fallos ocasionales en la ablación.
• La percepción interactiva (triangular el cajón moviendo la cámara de muñeca) y la recuperación de errores surgieron del descenso de gradiente sin implementarse explícitamente.
• Las tareas con subobjetivos en competencia, acciones irreversibles o retrocesos temporales necesarios, como las Torres de Hanói, siguen necesitando planificación.

Resultados principales

• Blocks World (de 10 a 30 bloques, de 0 a 15 torres): tanto el descenso de gradiente básico como la variante con un objetivo interconectado activamente resolvieron todas las instancias, incluidas las que requerían al menos 35 pasos, con un número de movimientos cercano al óptimo. El texto dice que se generaron más de 100 instancias; el pie de la Fig. 2 habla de 130 problemas generados aleatoriamente.
• Los problemas de desapilado se resolvieron de forma óptima; los de apilado mostraron movimientos adicionales debidos a subobjetivos en competencia, que se redujeron pero no desaparecieron al interconectar el objetivo con el estado actual.
• Apertura de cajones real con distinta incertidumbre previa, ruido de sensor añadido y perturbaciones leves (mueble desplazado) o fuertes (cajón sacado de la mano), diez ejecuciones por escenario: 3 fallos en setenta ensayos, todos por singularidades y autocolisiones no modeladas. El resumen contabiliza cien ensayos con cajones en el mundo real en total.
• El método superó a un planificador en el espacio de estados con una trayectoria precalculada y a un planificador en el espacio de creencias con movimientos exploratorios; el planificador en el espacio de creencias gestionó la incertidumbre pero tuvo dificultades con las perturbaciones grandes, y el método fue computacionalmente más barato que la planificación en el espacio de creencias de 67 dimensiones.
• Ablaciones con tres configuraciones iniciales y tres tareas alternativas (n = 5 por configuración): reducir las interconexiones activas provocó caídas bruscas del rendimiento, sobre todo en las tareas que requerían ajustar el punto de vista o agarrar.

Limitaciones

• Los subobjetivos en competencia y la falta de previsión llevan a movimientos subóptimos; encontrar de forma sistemática los atajos de Blocks World (mover bloques directamente entre torres) requiere planificación (según los autores).
• Las tareas con acciones irreversibles, como destruir objetos, o con subobjetivos en conflicto que exigen retrocesos temporales, como las Torres de Hanói, siguen requiriendo planificación (según los autores).
• Los tres fallos con cajones en el mundo real se debieron a efectos que el sistema no modela: singularidades y autocolisiones.
• Cada tarea usa su propio conjunto especificado de estimadores, interconexiones y coste de objetivo; el artículo construye un sistema de este tipo para Blocks World y otro para la apertura de cajones.
• La evaluación con robot real abarca una familia de tareas, la apertura de cajones, con diez ensayos por escenario y cinco por configuración de ablación.

Impacto en el campo

Ganó el IEEE ICRA 2025 Best Paper Award on Planning and Control y fue finalista del ICRA 2025 Best Paper Award on Robot Learning; 10 citas. El artículo enlaza una página del proyecto con vídeos complementarios, que a su vez enlaza el repositorio de código de AICON y tutoriales.

Resumen

Presentamos un enfoque novedoso basado en gradientes para resolver tareas secuenciales ajustando dinámicamente el campo potencial miope subyacente en respuesta a la retroalimentación y a las regularidades del mundo. Este ajuste tiene en cuenta implícitamente los subobjetivos codificados en estas regularidades, lo que permite resolver tareas secuenciales largas, como se demuestra al resolver el dominio de planificación tradicional de Blocks World sin ninguna planificación. A diferencia de los métodos de planificación convencionales, nuestro enfoque guiado por la retroalimentación se adapta a entornos inciertos y dinámicos, como demuestran cien ensayos en el mundo real con manipulación de cajones. Estos experimentos ponen de relieve la robustez de nuestro método frente a la planificación y muestran cómo la percepción interactiva y la recuperación de errores surgen de forma natural del descenso de gradiente sin implementarlas explícitamente. Esto ofrece una alternativa computacionalmente eficiente a la planificación para diversas tareas secuenciales, en consonancia con las observaciones sobre las estrategias biológicas de resolución de problemas.

Enlaces

• arXiv 2503.01732: https://arxiv.org/abs/2503.01732
• DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
• PDF: https://arxiv.org/pdf/2503.01732v1
• Código: https://github.com/tu-rbo/aicon
• Página del proyecto: https://www.tu.berlin/robotics/papers/noplan