Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Reward Shaping

  • Categoria: Learning & autonomy › RL & simulation
  • Tags: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation

Acrescentar termos extras à recompensa de aprendizado por reforço para que o agente receba retorno útil antes de alcançar o objetivo pela primeira vez, idealmente sem mudar qual comportamento é ótimo.

Definição

Modelagem de recompensa (reward shaping) modifica a função de recompensa de um problema de aprendizado por reforço para facilitar o aprendizado. Muitas tarefas robóticas têm uma recompensa natural que é esparsa: o agente recebe um sinal apenas quando a gaveta está aberta ou o pino está inserido. Com exploração aleatória, um robô pode quase nunca alcançar esse estado e, assim, receber quase nenhum sinal de aprendizado. A modelagem acrescenta termos intermediários, como a distância negativa da garra até o puxador, um bônus por uma pegada estável ou o progresso ao longo de uma sequência de subobjetivos, para que o agente receba retorno muito antes de ter sucesso pela primeira vez.

O risco é que a recompensa modelada mude a tarefa. Um robô recompensado pela proximidade da garra pode aprender a pairar perto do puxador sem puxá-lo, e uma recompensa pela velocidade de avanço pode produzir marchas que exploram falhas do simulador. Ng, Harada e Russell (1999) mostraram que termos de modelagem de uma forma específica, F(s, s′) = γΦ(s′) − Φ(s) para uma função potencial Φ definida sobre os estados, deixam inalteradas as políticas ótimas do problema original. Isso se chama modelagem de recompensa baseada em potencial. Como qualquer recompensa coletada ao percorrer um ciclo de estados soma zero com esses termos, o agente não consegue lucrar com laços que não fazem a tarefa avançar. Termos que não têm essa forma podem mudar a política ótima. Às vezes isso é intencional, quando os termos extras expressam preferências reais, como movimento suave ou baixo consumo de energia, mas deve ser uma escolha deliberada.

Na prática da robótica, recompensas para locomoção e manipulação muitas vezes combinam muitos termos ponderados, e ajustar seus pesos consome uma grande parte do esforço de engenharia. Complementos e alternativas incluem aprendizado por currículo, reetiquetagem retrospectiva de objetivos, aprendizado a partir de demonstrações, aprendizado por reforço inverso e recompensas calculadas a partir de representações visuais aprendidas, por exemplo uma estimativa do progresso em direção a uma imagem de subobjetivo. Esses recursos reduzem o projeto manual de recompensas, mas trazem modos de falha próprios.

Por que importa

Se uma tarefa de aprendizado robótico converge ou não muitas vezes depende de sua recompensa. A modelagem de recompensa é como a maioria das políticas de locomoção e manipulação simuladas se torna treinável, e recompensas mal modeladas são um motivo comum de políticas que pontuam bem durante o treinamento, mas não executam a tarefa pretendida.

Principais aplicações

  • Treinamento de políticas de manipulação quando o sucesso na tarefa é esparso
  • Recompensas de locomoção com pernas que combinam termos de rastreamento de velocidade, postura e energia
  • Tarefas de horizonte longo divididas em subobjetivos com recompensas de progresso
  • Navegação com termos de distância até o objetivo
  • Manipulação destra na mão treinada em simulação

Na prática

Uma equipe treina em simulação uma política para abrir a gaveta de um armário. Com uma recompensa dada apenas quando a gaveta está aberta, o treinamento não avança. A equipe acrescenta um termo para a distância negativa da garra até o puxador, um bônus cada vez que o puxador é agarrado e um termo proporcional a quanto a gaveta foi aberta. A política logo aprende a alcançar e agarrar, mas depois empaca, porque soltar e agarrar de novo o puxador coleta o bônus de pegada repetidas vezes. A equipe substitui o bônus por um termo baseado em potencial, a variação de um passo para o seguinte em um potencial que aumenta à medida que a gaveta abre e a garra se aproxima do puxador, de modo que alternar entre estados não rende nada no total, e acrescenta uma pequena penalidade sobre a velocidade das juntas para um movimento mais suave. A política final é avaliada pelo critério de sucesso esparso, não pelo retorno modelado.

Equívocos comuns

  • Qualquer termo de recompensa acrescentado é inofensivo se apontar para o objetivo — termos que não são baseados em potencial podem mudar a política ótima e abrir caminho para reward hacking
  • Um retorno modelado mais alto significa uma política melhor — só o desempenho no objetivo real da tarefa mostra se a política faz o que se pretendia
  • A modelagem baseada em potencial sempre acelera o aprendizado — ela preserva as políticas ótimas, mas um potencial mal escolhido ainda pode desacelerar a exploração
  • Modelagem de recompensa e aprendizado por currículo são a mesma coisa — a modelagem muda a recompensa, enquanto um currículo muda a ordem ou a dificuldade das tarefas e dos ambientes

Quem deve saber

  • Engenheiros de aprendizado por reforço que treinam políticas de robôs
  • Pesquisadores de locomoção e manipulação que trabalham em simulação
  • Engenheiros de simulação que configuram ambientes de treinamento
  • Estudantes aprendendo aprendizado por reforço para robótica

Tecnologias relacionadas

  • Modelagem de recompensa baseada em potencial (Potential-Based Reward Shaping)
  • Recompensas esparsas (Sparse Rewards)
  • Hindsight Experience Replay
  • Aprendizado por currículo (Curriculum Learning)
  • Aprendizado por reforço inverso (Inverse Reinforcement Learning)
  • Modelos de recompensa aprendidos (Learned Reward Models)

Termos relacionados

  • Reinforcement Learning
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Hindsight Experience Replay (HER)
  • Inverse Reinforcement Learning

Projetos relacionados

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

Vídeos

  • Reward Shaping: Udacity

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.