VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Autores: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um LLM escreve código Python que preenche mapas de voxels 3D de affordance e de desvio a partir de detecções de visão e linguagem; um planejador os transforma em trajetórias de 6 DoF em malha fechada sem treinamento adicional.

Por que importa

Nenhum componente é treinado para as tarefas: o conhecimento do modelo de linguagem é ancorado diretamente no espaço de observação 3D do robô e consumido por um planejador padrão. Como o planejador replaneja a partir de observações novas, a execução tolera perturbações como alvos deslocados ou uma gaveta aberta de novo depois que o robô a fechou.

Problema

Planejadores robóticos baseados em LLM geralmente chamam uma biblioteca de primitivas de movimento predefinidas, e adquirir essas habilidades é um gargalo porque dados robóticos em larga escala são escassos. LLMs também não conseguem produzir diretamente como texto ações de controle de alta frequência e alta dimensão. O artigo pergunta como usar o conhecimento de LLMs no nível de ações de granularidade fina, para instruções e objetos de conjunto aberto, sem coleta de dados por tarefa nem primitivas projetadas à mão.

Solução proposta

Dada uma instrução e observações RGB-D, o GPT-4 gera código Python que chama APIs de percepção (detecção com OWL-ViT, máscaras do Segment Anything, rastreamento com XMem) e operações do NumPy para preencher mapas de voxels de 100×100×100 para affordance, desvio, rotação do efetuador final, velocidade e estado da garra. Um planejador de movimento por busca gulosa encontra waypoints do efetuador final sem colisão em um mapa de custo construído a partir dos mapas ponderados de affordance e de desvio, executa o primeiro waypoint e replaneja a 5 Hz em uma malha de controle preditivo baseado em modelo. Para tarefas ricas em contato, as trajetórias zero-shot orientam a exploração enquanto um modelo dinâmico MLP é aprendido online.

Principais ideias

LLMs são ruins em emitir ações de controle brutas, mas bons em inferir affordances e restrições, e conseguem expressá-las como código que escreve valores em mapas de voxels 3D.
Compor mapas de valor espaciais sob uma otimização conjunta generalizou melhor que um LLM que parametriza uma lista fixa de primitivas (uma variante de Code as Policies) e melhor que uma U-Net treinada para prever mapas de custo.
Trajetórias zero-shot para tarefas ricas em contato costumam fazer sentido, mas são insuficientes; usadas como prior de exploração, tornam viável o aprendizado de um modelo dinâmico.
Em simulação, o VoxPoser teve o menor erro de especificação entre os métodos comparados; no mundo real, a maioria dos erros veio da percepção, por exemplo a sensibilidade do detector às poses iniciais dos objetos e às partes dos objetos.

Principais resultados

Mundo real, cinco tarefas com 10 ensaios cada: 88,0 % de sucesso em cenas estáticas e 70,0 % com perturbações, contra 24,0 % e 0,0 % de LLM + primitivas.
Simulação (13 tarefas, 2766 instruções únicas, 20 episódios por tarefa), sucesso em interação com objetos / composição espacial: 64,0 % / 77,5 % com instruções e atributos vistos, 60,0 % / 58,8 % com atributos não vistos e 65,0 % / 76,7 % com instruções e atributos não vistos.
No cenário de instruções e atributos não vistos, as baselines atingiram 0,0 % / 0,0 % (U-Net + planejador de movimento) e 17,5 % / 25,0 % (LLM + primitivas).
Tarefas simuladas ricas em contato: o sucesso zero-shot de 6,7 % (porta), 3,3 % (janela) e 18,3 % (geladeira) subiu para 88,3 %, 80,0 % e 91,7 % após cerca de 142 s, 137 s e 71 s de interação online com o prior zero-shot; explorar sem o prior excedeu o limite de 12 horas.
A configuração real replaneja a 5 Hz enquanto duas câmeras Azure Kinect transmitem RGB-D a 20 Hz.

Limitações

Segundo os autores: o VoxPoser depende de módulos de percepção externos, o que limita tarefas que exigem raciocínio visual holístico ou compreensão da geometria de granularidade fina dos objetos.
Segundo os autores: ainda é necessário um modelo dinâmico de uso geral para lidar com tarefas ricas em contato com o mesmo nível de generalização; as tarefas reais centradas em objetos usaram um modelo heurístico de empurrão planar e uma primitiva de empurrão predefinida.
Segundo os autores: o planejador de movimento considera apenas trajetórias do efetuador final, enquanto o planejamento do braço inteiro provavelmente é um projeto melhor.
Segundo os autores: os prompts do LLM são elaborados à mão (de 5 a 20 consultas de exemplo por programa do modelo de linguagem).
Na maioria das tarefas, a cena é suposta estática, exceto pelo replanejamento, e a decomposição das instruções em subtarefas pelo LLM não é estudada a fundo.

Impacto na área

Citado 735 vezes (número conforme informado). A página oficial do projeto traz o link para o repositório de código do VoxPoser, e o artigo publica os prompts completos do LLM no site do projeto.

Resumo

Já se mostrou que grandes modelos de linguagem (LLMs) possuem uma riqueza de conhecimento acionável que pode ser extraído para a manipulação robótica na forma de raciocínio e planejamento. Apesar do progresso, a maioria ainda depende de primitivas de movimento predefinidas para realizar as interações físicas com o ambiente, o que continua sendo um grande gargalo. Neste trabalho, buscamos sintetizar trajetórias de robô, isto é, uma sequência densa de waypoints do efetuador final de 6 DoF, para uma grande variedade de tarefas de manipulação, dado um conjunto aberto de instruções e um conjunto aberto de objetos. Conseguimos isso observando primeiro que os LLMs se destacam em inferir affordances e restrições a partir de uma instrução em linguagem livre. Mais importante, aproveitando sua capacidade de escrever código, eles podem interagir com um modelo de visão e linguagem (VLM) para compor mapas de valor 3D que ancoram o conhecimento no espaço de observação do agente. Os mapas de valor compostos são então usados em um framework de planejamento baseado em modelo para sintetizar em zero-shot trajetórias de robô em malha fechada, robustas a perturbações dinâmicas. Demonstramos ainda como o framework proposto pode se beneficiar de experiências online aprendendo de forma eficiente um modelo dinâmico para cenas que envolvem interações ricas em contato. Apresentamos um estudo em larga escala do método proposto em ambientes simulados e com robôs reais, mostrando a capacidade de realizar uma grande variedade de tarefas cotidianas de manipulação especificadas em linguagem natural livre. Vídeos e código em https://voxposer.github.io

Open Source Robotics