NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Autores: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma única diffusion policy com uma imagem-alvo opcional e mascarável lida tanto com a exploração quanto com o alcance do objetivo; em um LoCoBot, superou a difusão de subobjetivos em imagem com um modelo cerca de 15× menor.

Por que importa

Uma única política compacta substitui uma política condicionada ao objetivo mais um modelo separado de geração de imagens, reduzindo o tamanho do modelo de 335M para 19M parâmetros, o que, segundo os autores, convém a computadores embarcados com menos capacidade de processamento. A cabeça de difusão manteve várias opções sem colisão abertas nos cruzamentos e ainda assim se restringiu ao caminho certo quando recebia uma imagem-alvo. Ela foi treinada com conjuntos de dados públicos de navegação multirrobô (GNM e SACSoN) e testada em um robô real, e não apenas em simulação.

Problema

Um robô que procura em um ambiente desconhecido um objetivo mostrado em uma imagem precisa de dois comportamentos: exploração agnóstica à tarefa para encontrar o objetivo e navegação dirigida ao objetivo depois de encontrá-lo. Sistemas anteriores dividem essas funções em modelos separados, por exemplo uma política condicionada ao objetivo mais um modelo de difusão de imagens de 300M parâmetros que propõe imagens de subobjetivos. A exploração também exige representar distribuições de ações multimodais, como esquerda ou direita em um cruzamento, que classes de políticas mais simples acabam promediando.

Solução proposta

O NoMaD estende a backbone de transformador do ViNT (codificadores EfficientNet-B0, 4 camadas, 4 cabeças) com uma máscara binária de objetivo que bloqueia a atenção ao token do objetivo, amostrada com probabilidade 0,5 durante o treinamento para que uma única política aprenda os dois modos. O contexto de observação condiciona um modelo de difusão U-Net condicional 1D que remove o ruído de uma sequência de 8 ações futuras em 10 passos. A política é combinada com uma memória de grafo topológico e exploração baseada em fronteiras, seguindo a configuração do ViKiNG.

Principais ideias

Mascarar o token do objetivo durante o treinamento permite que uma única rede aprenda tanto o comportamento condicionado ao objetivo quanto o não dirigido, sem perder desempenho em nenhum dos modos.
Modelar as ações diretamente com difusão, em vez de gerar imagens de subobjetivos, capturou escolhas de exploração multimodais com um modelo muito menor.
A predição autorregressiva sobre ações discretizadas poderia, em princípio, representar vários modos, mas suas predições foram em grande parte unimodais e a política implantada era brusca e lenta para reagir a obstáculos em movimento.
A escolha do codificador visual fez diferença: o codificador do ViNT com mascaramento do objetivo baseado em atenção treinou bem com difusão, enquanto um codificador ViT não.

Principais resultados

Exploração em ambientes não vistos: NoMaD 98 % de sucesso com 0,2 colisão por experimento, contra Subgoal Diffusion 77 % / 1,7 (335M parâmetros), Autoregressive 90 % / 2,0, Random Subgoals 70 % / 2,7, Masked ViNT 50 % / 1,0 e VIB 30 % / 4,0.
Navegação em ambientes conhecidos com um grafo topológico: NoMaD 90 % de sucesso, igual a Subgoal Diffusion e Random Subgoals.
Políticas unificadas contra dedicadas: o NoMaD (19M) atingiu 98 % de sucesso não dirigido e 92 % condicionado ao objetivo, igualando a Diffusion Policy (15M, 98 % não dirigido) e a política ViNT (16M, 92 % condicionado ao objetivo).
Ablação do codificador: sucesso / colisões foram 52 % / 3,2 para uma CNN de fusão tardia, 68 % / 1,5 para uma CNN de fusão precoce, 32 % / 2,5 para um ViT e 98 % / 0,2 para o NoMaD.
O NoMaD usa 19M parâmetros contra 335M do Subgoal Diffusion, o que o artigo descreve como 15× menos.
O artigo dá duas contagens para os ambientes de teste: 6 na configuração de avaliação (seção V) e 5 na discussão da tabela I.

Limitações

Os objetivos são especificados apenas como imagens, que, segundo os autores, nem sempre são a modalidade mais natural para os usuários; linguagem e coordenadas espaciais ficam para trabalhos futuros.
O planejamento de alto nível usa uma estratégia padrão de exploração baseada em fronteiras; não se usa seleção semântica ou baseada em conhecimento prévio das regiões a explorar.
Na exploração, o NoMaD teve sucesso em todos os ambientes de teste, exceto o mais difícil.
A avaliação no mundo real usou uma única plataforma robótica, o LoCoBot.

Impacto na área

O NoMaD ganhou o ICRA 2024 Best Conference Paper Award e foi finalista do ICRA 2024 Best Paper Award in Cognitive Robotics e do Best Student Paper Award. Os autores disponibilizaram o código e checkpoints de modelos pré-treinados pela página do projeto.

Resumo

O aprendizado robótico para navegação em ambientes desconhecidos precisa fornecer políticas tanto para a navegação orientada a tarefas (isto é, alcançar um objetivo que o robô localizou) quanto para a exploração agnóstica à tarefa (isto é, procurar um objetivo em um ambiente novo). Normalmente, esses papéis são tratados por modelos separados, por exemplo usando propostas de subobjetivos, planejamento ou estratégias de navegação separadas. Neste artigo, descrevemos como podemos treinar uma única política de difusão unificada para lidar tanto com a navegação dirigida a objetivos quanto com a exploração agnóstica ao objetivo, sendo que esta última fornece a capacidade de explorar ambientes novos e a primeira, a capacidade de alcançar um objetivo especificado pelo usuário depois que ele for localizado. Mostramos que essa política unificada resulta em melhor desempenho geral ao navegar até objetivos indicados visualmente em ambientes novos, em comparação com abordagens que usam propostas de subobjetivos de modelos generativos ou com métodos anteriores baseados em modelos de variáveis latentes. Instanciamos nosso método usando uma política em larga escala baseada em transformadores, treinada com dados de vários robôs terrestres, com um decodificador de modelo de difusão para lidar de forma flexível tanto com a navegação condicionada ao objetivo quanto com a agnóstica ao objetivo. Nossos experimentos, realizados em uma plataforma de robô móvel real, mostram navegação eficaz em ambientes não vistos em comparação com cinco métodos alternativos e demonstram melhorias significativas de desempenho e menores taxas de colisão, apesar de usar modelos menores que as abordagens do estado da arte. Para mais vídeos, código e checkpoints de modelos pré-treinados, veja https://general-navigation-models.github.io/nomad/

Open Source Robotics