Offline Reinforcement Learning

Também chamado: batch reinforcement learning, batch RL, offline RL
Categoria: Learning & autonomy › RL & simulation
Tags: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

Aprendizado por reforço a partir de um conjunto fixo de transições coletado previamente, sem nenhuma interação adicional com o ambiente durante o treinamento.

Definição

Aprendizado por reforço offline (offline reinforcement learning) aprende uma política inteiramente a partir de um conjunto de dados estático de estados, ações, recompensas e próximos estados, coletado antecipadamente por pessoas, controladores programados ou políticas anteriores. Diferentemente do RL online padrão, o agente não pode experimentar ações novas e observar o resultado durante o treinamento. Esse cenário é atraente para a robótica, em que a interação com o mundo real é lenta, cara e às vezes insegura, e em que grandes registros de dados de robôs podem já existir. Diferentemente do aprendizado por imitação, o RL offline usa as recompensas presentes nos dados, então em princípio pode aprender uma política melhor do que o comportamento que gerou os dados, por exemplo combinando as partes boas de trajetórias diferentes.

A dificuldade central é a mudança de distribuição entre a política aprendida e os dados. Os métodos baseados em valor estimam Q(s, a) por bootstrapping a partir do valor da próxima ação que a política aprendida escolheria. Se essa ação aparece raramente ou nunca no conjunto de dados, sua estimativa de valor não tem restrição, e a maximização tende a escolher justamente as ações cujos valores estão erroneamente altos. O RL online corrige esses erros experimentando as ações; o RL offline não pode. Por isso, os métodos offline ficam perto dos dados de uma entre várias maneiras: restringindo a política em direção à política de comportamento (como no BCQ, Fujimoto et al., 2019), penalizando os valores de ações não vistas (como no Q-learning conservador, Kumar et al., 2020), evitando totalmente consultar ações fora da distribuição (como no Q-learning implícito, Kostrikov et al., 2021) ou acrescentando um termo de clonagem de comportamento a uma função de perda ator-crítico off-policy.

Os resultados dependem fortemente do conjunto de dados: sua cobertura de estados e ações, a qualidade do comportamento que o produziu e se as recompensas estão disponíveis ou precisam ser rotuladas depois. Um fluxo de trabalho comum é o pré-treinamento offline seguido de uma quantidade limitada de ajuste fino online. O RL offline está relacionado ao RL off-policy, mas é diferente dele: algoritmos off-policy aprendem com dados gerados por outras políticas, mas normalmente continuam coletando dados novos, e muitas vezes têm desempenho ruim quando essa coleta para.

Por que importa

A maioria dos robôs não pode arcar com milhões de episódios de tentativa e erro em hardware, mas muitas equipes têm registros de teleoperação, execuções programadas e experimentos anteriores. O RL offline é a família de métodos projetada para transformar esses dados em políticas com segurança, e explica por que simplesmente executar um algoritmo off-policy padrão em um conjunto de dados fixo muitas vezes falha.

Principais aplicações

Aprendizado de políticas de manipulação a partir de dados registrados de teleoperação e de execuções programadas
Pré-treinamento de políticas robóticas antes de um ajuste fino online limitado
Melhoria em relação a demonstrações subótimas usando rótulos de recompensa
Aprendizado a partir de dados em cenários onde a exploração é insegura, como a direção de veículos
Reaproveitamento de dados de experimentos anteriores em vez de descartá-los

Na prática

Uma equipe de armazém tem meses de tentativas de coleta registradas de um sistema de preensão programado, cada uma rotulada com sucesso ou falha. Em vez de fazer novos testes, ela treina um agente de Q-learning conservador com os registros, usando a imagem e o estado da garra como entrada. Antes da implantação, compara as preensões escolhidas pela política aprendida com a distribuição dos dados e a avalia em um pequeno conjunto de objetos reservados em uma célula de testes supervisionada. Em seguida, permite um curto período de ajuste fino online com uma pessoa capaz de parar o robô, o que corrige os erros restantes em situações raramente vistas.

Equívocos comuns

O RL offline é apenas clonagem de comportamento sobre um conjunto de dados — ele usa recompensas e pode superar os dados, enquanto a clonagem de comportamento copia as ações contidas neles
Qualquer algoritmo off-policy funciona offline — sem dados novos, os métodos off-policy padrão superestimam o valor de ações não vistas e muitas vezes colapsam
Mais dados sempre dão uma política offline melhor — cobertura e qualidade importam; um grande conjunto de dados de comportamento quase idêntico oferece pouco espaço para melhorar
O RL offline dispensa avaliação no sistema real — as estimativas offline do desempenho da política não são confiáveis, por isso testes reais ou cuidadosamente simulados continuam necessários

Quem deve saber

Pesquisadores de aprendizado robótico que trabalham com grandes conjuntos de dados registrados
Engenheiros com frotas que produzem dados operacionais
Profissionais de aprendizado por reforço que estão passando da simulação para o hardware
Equipes de ML de direção autônoma e de manipulação

Tecnologias relacionadas

Conservative Q-Learning (CQL)
Implicit Q-Learning (IQL)
Batch-Constrained Q-Learning (BCQ)
D4RL
Decision Transformer

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vídeos

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL