No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

Autores: Vito Mengers, Oliver Brock · ICRA 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Seguir o gradiente mais íngreme por uma rede de estimadores interconectados resolve o Blocks World e a abertura de gavetas reais sem planejador, adaptando-se à incerteza e a perturbações.

Por que importa

O método conclui manipulações de várias etapas sem calcular um plano, e comportamentos como mover a câmera para reduzir a incerteza, reencontrar um puxador perdido e refazer a preensão surgem da seleção de gradientes em vez de serem programados. Nos experimentos com gavetas, ele continuou funcionando quando o armário foi deslocado ou o puxador foi arrancado da mão, situações em que as linhas de base de planejamento perderam desempenho.

Problema

Planejadores preveem estados futuros para sequenciar subobjetivos, mas a incerteza se acumula ao longo do horizonte de planejamento, de modo que planos custosos muitas vezes se tornam inviáveis em cenários dinâmicos ou incertos. O controle míope baseado em gradientes se adapta rapidamente ao feedback, mas tem se limitado a problemas contínuos de uma única etapa, porque é difícil codificar subobjetivos em uma única função potencial que cubra todas as variações da tarefa e do ambiente.

Solução proposta

Os autores codificam as regularidades do mundo no AICON, uma rede de estimadores recursivos (componentes) ligados por interconexões ativas cuja troca de informação muda com o estado do sistema. Um custo de objetivo diferenciável é expandido pela regra da cadeia ao longo de cada caminho até os sinais de atuação e, a cada passo de tempo, apenas o mais íngreme desses gradientes é seguido, de modo que gradientes que mudariam o regime de uma interconexão atuam como subobjetivos implícitos. O padrão é aplicado ao Blocks World e a uma tarefa parcialmente observável de abertura de gaveta em um braço Panda com uma RBO Hand 3, um sensor de força/torque no punho e uma câmera RGB na mão.

Principais ideias

Os subobjetivos não precisam ser listados: quando uma interconexão ativa está em um regime estacionário, a regra da cadeia produz um gradiente que tenta mudar esse regime, e isso atua como um subobjetivo implícito.
Seguir apenas o gradiente mais íngreme evita gradientes conflitantes; somar os gradientes, em vez disso, gerou comportamento instável e brusco e falhas ocasionais na ablação.
A percepção interativa (triangular a gaveta movendo a câmera do punho) e a recuperação de erros emergiram da descida de gradiente sem serem implementadas explicitamente.
Tarefas com subobjetivos concorrentes, ações irreversíveis ou retrocessos temporários necessários, como a Torre de Hanói, ainda precisam de planejamento.

Principais resultados

Blocks World (de 10 a 30 blocos, de 0 a 15 torres): tanto a descida de gradiente básica quanto a variante com um objetivo ativamente interconectado resolveram todas as instâncias, incluindo as que exigiam pelo menos 35 passos, com número de movimentos próximo do ótimo. O texto diz que mais de 100 instâncias foram geradas; a legenda da Fig. 2 fala em 130 problemas gerados aleatoriamente.
Problemas de desempilhamento foram resolvidos de forma ótima; problemas de empilhamento mostraram movimentos extras devidos a subobjetivos concorrentes, reduzidos, mas não eliminados, ao interconectar o objetivo com o estado atual.
Abertura de gavetas real sob diferentes incertezas prévias, ruído de sensor adicionado e perturbações leves (armário deslocado) ou fortes (gaveta puxada da mão), dez execuções por cenário: 3 falhas em setenta ensaios, todas devidas a singularidades e autocolisões não modeladas. O resumo contabiliza cem ensaios com gavetas no mundo real no total.
O método superou um planejador no espaço de estados com uma trajetória pré-calculada e um planejador no espaço de crenças com movimentos exploratórios; o planejador no espaço de crenças lidou com a incerteza, mas teve dificuldades com grandes perturbações, e o método foi computacionalmente mais barato que o planejamento no espaço de crenças de 67 dimensões.
Ablações em três configurações iniciais e três tarefas alternativas (n = 5 por configuração): reduzir as interconexões ativas causou quedas acentuadas de desempenho, sobretudo nas tarefas que exigiam ajuste do ponto de vista ou preensão.

Limitações

Subobjetivos concorrentes e falta de previsão levam a movimentos subótimos; encontrar de forma consistente os atalhos do Blocks World (mover blocos diretamente entre torres) exige planejamento (segundo os autores).
Tarefas com ações irreversíveis, como destruir objetos, ou com subobjetivos conflitantes que exigem retrocessos temporários, como a Torre de Hanói, ainda exigem planejamento (segundo os autores).
As três falhas com gavetas no mundo real vieram de efeitos que o sistema não modela: singularidades e autocolisões.
Cada tarefa usa seu próprio conjunto especificado de estimadores, interconexões e custo de objetivo; o artigo constrói um sistema desse tipo para o Blocks World e outro para a abertura de gavetas.
A avaliação com robô real abrange uma família de tarefas, a abertura de gavetas, com dez ensaios por cenário e cinco por configuração de ablação.

Impacto na área

Venceu o IEEE ICRA 2025 Best Paper Award on Planning and Control e foi finalista do ICRA 2025 Best Paper Award on Robot Learning; 10 citações. O artigo traz link para uma página de projeto com vídeos suplementares, que por sua vez traz link para o repositório de código do AICON e para tutoriais.

Resumo

Apresentamos uma nova abordagem baseada em gradientes para resolver tarefas sequenciais ajustando dinamicamente o campo potencial míope subjacente em resposta ao feedback e às regularidades do mundo. Esse ajuste considera implicitamente os subobjetivos codificados nessas regularidades, permitindo resolver tarefas sequenciais longas, como demonstrado ao resolver o domínio tradicional de planejamento Blocks World — sem nenhum planejamento. Diferentemente dos métodos de planejamento convencionais, nossa abordagem orientada por feedback se adapta a ambientes incertos e dinâmicos, como demonstrado por cem ensaios no mundo real envolvendo manipulação de gavetas. Esses experimentos destacam a robustez do nosso método em comparação com o planejamento e mostram como a percepção interativa e a recuperação de erros emergem naturalmente da descida de gradiente sem serem implementadas explicitamente. Isso oferece uma alternativa computacionalmente eficiente ao planejamento para uma variedade de tarefas sequenciais, em consonância com observações sobre estratégias biológicas de resolução de problemas.

Open Source Robotics