Visuomotor Policy

Também chamado: end-to-end visuomotor control, vision-based policy
Categoria: Learning & autonomy › Learning from demonstration
Tags: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

Uma política de controle que mapeia imagens de câmera, muitas vezes junto com o estado das juntas, diretamente para ações do robô, aprendendo percepção e controle como um único modelo.

Definição

Uma política visuomotora (visuomotor policy) recebe observações visuais, geralmente uma ou mais imagens de câmera, muitas vezes combinadas com o estado proprioceptivo, como as posições das juntas e a abertura da garra, e produz comandos motores: torques de junta, velocidades de junta, poses do efetuador final ou comandos da garra. Percepção e controle são aprendidos juntos, de modo que as características visuais que a política extrai são moldadas pelo que a ajuda a agir, em vez de serem saídas fixas, como poses de objetos vindas de um módulo de percepção separado. Sergey Levine, Chelsea Finn e colegas popularizaram o termo com seu trabalho de 2016 sobre treinamento de ponta a ponta de políticas visuomotoras profundas.

A maioria das políticas visuomotoras é treinada por aprendizado por imitação a partir de demonstrações teleoperadas, por aprendizado por reforço ou por uma combinação dos dois. As arquiteturas típicas passam as imagens por um encoder convolucional ou transformador, combinam o resultado com a propriocepção e decodificam as ações com um perceptron multicamadas, um transformador ou um modelo generativo, como uma política de difusão (diffusion policy), capaz de representar várias ações válidas. A eficiência de dados é o problema central: as imagens são de alta dimensão, as demonstrações são caras e as políticas podem se prender a detalhes irrelevantes, como a iluminação ou o fundo.

Um grande conjunto de trabalhos trata disso pré-treinando o encoder visual com outros dados, como grandes conjuntos de imagens ou vídeos de pessoas, e depois treinando apenas uma pequena cabeça de política com demonstrações do robô. O quão bem políticas visuomotoras com poucas demonstrações aprendem sobre um encoder congelado tornou-se uma forma comum de avaliar essas representações. Outros métodos adicionam aumento de dados, várias vistas de câmera, incluindo câmeras de punho, e chunking de ações para reduzir o acúmulo de erros. Os modelos de visão-linguagem-ação estendem a ideia condicionando também a política a instruções em linguagem.

Por que importa

As políticas visuomotoras permitem que os robôs lidem com tarefas em que o estado relevante é difícil de projetar à mão, como objetos deformáveis, ambientes congestionados ou inserções precisas, aprendendo diretamente dos pixels. Elas estão no centro da maioria dos sistemas atuais de aprendizado por imitação para manipulação.

Principais aplicações

Aprendizado por imitação para manipulação sobre mesa e em cozinha
Preensão e pick-and-place a partir da entrada de câmera
Manuseio de objetos deformáveis, como dobrar roupas
Avaliação de representações visuais pré-treinadas para robótica
Controle de drones e veículos a partir de câmeras embarcadas

Na prática

Uma equipe que ensina um braço robótico a pendurar uma caneca em um suporte coleta demonstrações teleoperadas com uma câmera de cena fixa e uma câmera de punho, gravando imagens, posições das juntas e movimentos comandados do efetuador final. Ela treina uma política que codifica cada imagem com um backbone de visão pré-treinado, concatena as características com o estado das juntas e prevê um trecho curto de ações futuras. Recortes aleatórios e variação de cor durante o treinamento ajudam a política a ignorar pequenos deslocamentos da câmera e mudanças de iluminação. No robô, a política roda em malha fechada na taxa de quadros da câmera, e a equipe a testa com canecas em posições novas e com objetos distratores para verificar que ela presta atenção às partes certas da imagem.

Equívocos comuns

Políticas visuomotoras usam só imagens — a maioria combina imagens com propriocepção, que muitas vezes é crítica para o controle preciso
De ponta a ponta significa sem escolhas de projeto — arquitetura, representação das ações, posicionamento das câmeras e encoders pré-treinados afetam fortemente os resultados
Uma política que funciona nas cenas de treinamento funcionará em cenas novas — políticas visuomotoras são sensíveis à iluminação, aos fundos e à pose da câmera, a menos que sejam treinadas para essa variação

Quem deve saber

Pesquisadores de aprendizado de robôs
Engenheiros de manipulação que constroem sistemas de aprendizado por imitação
Pesquisadores de visão computacional que trabalham com representações para robótica
Equipes que coletam dados de demonstração de robôs

Tecnologias relacionadas

Diffusion Policy
Action Chunking with Transformers (ACT)
Representações visuais pré-treinadas (Pretrained Visual Representations)
Modelos de visão-linguagem-ação (Vision-Language-Action Models)
Redes neurais convolucionais (Convolutional Neural Networks)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vídeos

End-to-End Training of Deep Visuomotor Policies: RAIL
Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated