Goal-Conditioned Policy
- Também chamado: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- Categoria: Learning & autonomy › RL & simulation
- Tags: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
Uma política de controle que recebe um objetivo como entrada adicional junto com suas observações, de modo que um único modelo aprendido consegue alcançar muitos alvos diferentes em vez de ser treinado para uma única tarefa.
Definição
Políticas condicionadas a objetivos (goal-conditioned policies) escolhem ações com base tanto na observação atual quanto em um objetivo especificado, o que se escreve π(a | s, g). Uma política padrão aprende a fazer uma única coisa; uma política condicionada a objetivos aprende uma família de comportamentos indexada pelo objetivo. A mesma rede pode levar um robô a muitos locais, posicionar um objeto em muitas poses ou alcançar qualquer imagem-objetivo que lhe seja dada.
Os objetivos podem assumir muitas formas: uma posição ou pose-alvo, uma configuração de juntas desejada, uma imagem de como a cena deveria ficar ou uma instrução em linguagem natural. Na navegação, objetivos em forma de imagem são comuns: o robô recebe uma foto de um lugar e precisa chegar até ele. Na manipulação, os objetivos costumam ser poses-alvo de objetos ou imagens do arranjo desejado.
No aprendizado por reforço, o condicionamento a objetivos é formalizado por meio de funções de valor condicionadas a objetivos, como os aproximadores universais de funções de valor, que estimam o quão bem o robô consegue alcançar cada objetivo a partir de cada estado. Uma dificuldade prática é que as recompensas por alcançar um objetivo específico são raras. O replay de experiência retrospectivo (hindsight experience replay) resolve isso rerrotulando uma tentativa fracassada como um sucesso para o objetivo que foi de fato alcançado, transformando cada trajetória em dados de treinamento úteis.
O condicionamento a objetivos também é central no aprendizado por imitação a partir de grandes conjuntos de dados. Demonstrações ou interações livres gravadas (play) podem ser rerrotuladas com objetivos tirados de pontos posteriores da mesma trajetória, de modo que um único conjunto de dados ensina a política a alcançar muitos resultados. Políticas condicionadas a objetivos costumam ser combinadas com planejadores ou mapas que fornecem uma sequência de objetivos intermediários, permitindo que uma política de horizonte curto realize tarefas de horizonte longo.
Por que importa
Políticas condicionadas a objetivos permitem que um modelo sirva a muitas tarefas, o que aproveita melhor os dados caros de robôs e dá aos planejadores uma habilidade de baixo nível reutilizável para chamar. Elas são uma interface comum entre a especificação de tarefas de alto nível e o controle aprendido.
Principais aplicações
- Navegação com objetivo dado por imagem ou por posição
- Manipulação multitarefa em que a pose-alvo ou o arranjo do objeto varia
- Tarefas de alcance e empurrão treinadas com rerrotulagem retrospectiva
- Habilidades de baixo nível chamadas por planejadores em sistemas hierárquicos
Na prática
Uma equipe de navegação pode treinar uma política que recebe a imagem atual da câmera e uma imagem do local-alvo e produz comandos de velocidade. Os dados de treinamento vêm de percursos registrados do robô, em que quadros posteriores da mesma execução são usados como objetivos para os quadros anteriores. Na implantação, um mapa topológico ou planejador fornece uma sequência de imagens de subobjetivos, e a política conduz o robô em direção a cada uma por vez. As equipes medem o sucesso em objetivos reservados, e não apenas nos objetivos vistos no treinamento.
Equívocos comuns
- Uma política condicionada a objetivos consegue alcançar qualquer objetivo — ela só generaliza para objetivos semelhantes aos representados no treinamento
- O condicionamento a objetivos só se aplica ao aprendizado por reforço — ele é igualmente comum no aprendizado por imitação, em que os objetivos são rerrotulados a partir dos dados de demonstração
- Uma política condicionada a objetivos substitui o planejamento — para tarefas longas ela geralmente precisa de um planejador ou mapa que forneça subobjetivos próximos
Quem deve saber
- Pesquisadores de aprendizado de robôs que trabalham com aprendizado por reforço e por imitação
- Engenheiros de navegação que usam controladores aprendidos
- Engenheiros que constroem sistemas hierárquicos de planejamento e controle
Tecnologias relacionadas
- Aprendizado por reforço (Reinforcement Learning)
- Hindsight Experience Replay
- Aproximadores universais de funções de valor (Universal Value Function Approximators)
- Aprendizado por imitação (Imitation Learning)
- Diffusion Policy
- Mapa topológico (Topological Map)
Termos relacionados
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim