Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Hindsight Experience Replay (HER)

  • Também chamado: HER
  • Categoria: Learning & autonomy › RL & simulation
  • Tags: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation

Uma técnica de aprendizado por reforço condicionado a objetivos que reetiqueta episódios fracassados com objetivos que o agente realmente alcançou, transformando falhas com recompensa esparsa em dados de treinamento úteis.

Definição

Hindsight Experience Replay (HER) trata de um problema comum no aprendizado robótico: com uma recompensa esparsa, dada apenas quando um objetivo é alcançado, um robô que age aleatoriamente quase nunca tem sucesso e, portanto, não recebe nenhum sinal de aprendizado. O HER, apresentado por Andrychowicz et al. em 2017, reaproveita cada episódio fracassado fingindo, depois do fato, que o objetivo era aquilo que o agente realmente alcançou. Um episódio que tentou empurrar um bloco até o ponto A, mas o deixou no ponto B, torna-se um exemplo bem-sucedido de empurrar o bloco até o ponto B.

O método funciona com políticas e funções de valor condicionadas a objetivos, que recebem como entrada tanto o estado quanto o objetivo desejado, e com algoritmos off-policy como DDPG, TD3 ou SAC, que aprendem a partir de um buffer de replay. Cada transição armazenada é copiada com um objetivo substituído e uma recompensa recalculada para esse objetivo. Várias estratégias escolhem o substituto: o estado final do episódio, um estado aleatório do mesmo episódio ou, mais comumente, um estado alcançado mais tarde no mesmo episódio (a estratégia "future"). Como a recompensa precisa ser recalculada para qualquer objetivo, o HER exige uma função de recompensa que possa ser avaliada para objetivos arbitrários, normalmente se o objetivo alcançado está dentro de uma tolerância em relação ao desejado.

O HER funciona como um currículo implícito: no início, os objetivos reetiquetados são fáceis, perto de onde o robô já termina, e à medida que a política melhora, os objetivos que ela alcança se espalham até cobrir o espaço. Ele não ajuda quando o objetivo não pode ser lido a partir do estado alcançado, quando as recompensas dependem de mais do que o resultado final, nem com algoritmos on-policy, que não podem reaproveitar dados antigos. O reetiquetamento também enviesa a distribuição de objetivos no buffer, o que trabalhos posteriores examinaram e corrigiram de várias formas.

Por que importa

Recompensas esparsas de sucesso são a forma mais natural de especificar muitas tarefas de manipulação, mas é muito difícil aprender diretamente com elas. O HER tornou prático treinar políticas de empurrar, deslizar e pick-and-place a partir de recompensas binárias, sem termos de recompensa moldados à mão, e o reetiquetamento de objetivos se tornou desde então uma ferramenta padrão no aprendizado condicionado a objetivos.

Principais aplicações

  • Empurrar, deslizar e pick-and-place com recompensa esparsa em braços robóticos
  • Treinamento de políticas condicionadas a objetivos que alcançam posições-alvo arbitrárias
  • Aprendizado de navegação até locais-alvo a partir de recompensas apenas de sucesso
  • Reetiquetamento de demonstrações ou dados de brincadeira com os objetivos que eles realmente alcançaram
  • Benchmarks com múltiplos objetivos para aprendizado por reforço off-policy

Na prática

Um engenheiro treina um braço simulado para colocar um bloco em posições-alvo escolhidas aleatoriamente, com recompensa de 0 em caso de sucesso e -1 caso contrário. Sem HER, o SAC quase não melhora, porque o bloco raramente cai no alvo por acaso. Com HER, cada transição também é armazenada com objetivos tirados de posições do bloco alcançadas mais tarde naquele episódio, e a recompensa é recalculada como sucesso se o bloco estiver a poucos centímetros do objetivo substituído. O engenheiro verifica se a observação separa claramente o objetivo alcançado (a posição do bloco) do objetivo desejado, para que o código de reetiquetamento possa trocar um pelo outro.

Equívocos comuns

  • O HER funciona com qualquer algoritmo de aprendizado por reforço — ele depende de reaproveitar transições armazenadas, por isso se encaixa em métodos off-policy como DDPG, TD3 e SAC, não em métodos on-policy como PPO
  • O HER elimina a necessidade de projetar recompensas — ele ainda precisa de uma recompensa que possa ser calculada para qualquer objetivo e de uma definição clara de qual parte do estado conta como objetivo alcançado
  • Dados reetiquetados não têm viés — substituir objetivos pelos alcançados muda a distribuição de objetivos e resultados no buffer, o que pode enviesar as estimativas de valor

Quem deve saber

  • Profissionais de aprendizado por reforço que trabalham com manipulação
  • Pesquisadores de aprendizado robótico que usam recompensas esparsas ou binárias
  • Engenheiros que constroem políticas condicionadas a objetivos
  • Estudantes que implementam algoritmos de aprendizado off-policy

Tecnologias relacionadas

  • Deep Deterministic Policy Gradient (DDPG)
  • Twin Delayed DDPG (TD3)
  • Buffer de replay (Replay Buffer)
  • Universal Value Function Approximators
  • Gymnasium-Robotics

Termos relacionados

  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Play Data

Projetos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills

Vídeos

  • Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.