Lifelong Robot Learning
- Também chamado: continual robot learning, lifelong learning
- Categoria: Learning & autonomy › Learning from demonstration
- Tags: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning
Um cenário de aprendizado em que um robô adquire uma sequência de tarefas ao longo do tempo com um único modelo, buscando manter as habilidades anteriores e reutilizá-las para aprender tarefas novas mais rápido.
Definição
Aprendizado robótico ao longo da vida (lifelong robot learning) estuda robôs que continuam aprendendo, tarefa após tarefa, em vez de serem treinados uma única vez em um conjunto de dados fixo. Sebastian Thrun e Tom Mitchell usaram o termo em meados dos anos 1990, argumentando que um robô diante de muitas tarefas relacionadas deveria levar o conhecimento das tarefas anteriores para as posteriores e, assim, precisar de menos exemplos para cada uma. Na formulação moderna estrita, uma única política aprende as tarefas em sequência e perde o acesso aos dados das tarefas anteriores enquanto aprende uma nova.
A dificuldade central é o esquecimento catastrófico: treinar uma rede neural com dados novos altera os pesos dos quais as tarefas anteriores dependiam, e o desempenho nessas tarefas cai. Os métodos se dividem em três grandes famílias. O replay guarda um pequeno buffer de demonstrações ou experiências anteriores e o mistura ao treinamento. A regularização penaliza mudanças em parâmetros que importavam para as tarefas anteriores, como na consolidação elástica de pesos (elastic weight consolidation). Os métodos arquiteturais dão a cada tarefa seus próprios parâmetros ou sub-redes, como no PackNet, ou adicionam novos módulos ao longo do tempo. Os resultados são relatados com a transferência para frente (se o aprendizado passado acelera tarefas novas), a transferência para trás (se o novo aprendizado prejudica ou ajuda tarefas antigas, com valores negativos indicando esquecimento) e o sucesso geral em todas as tarefas vistas até então.
A robótica torna o problema ao mesmo tempo mais difícil e mais promissor. Dados de robôs são caros, então a reutilização importa, e as tarefas compartilham objetos, cenas e movimentos, então há muito a transferir. Benchmarks como o LIBERO oferecem conjuntos de tarefas de manipulação gerados proceduralmente, projetados para separar a transferência de conhecimento sobre objetos e arranjos espaciais da transferência de comportamentos. O aprendizado ao longo da vida difere do aprendizado multitarefa, em que todas as tarefas estão disponíveis de uma vez, e do ajuste fino de um modelo pré-treinado em uma única tarefa nova, que também pode desgastar habilidades anteriores.
Por que importa
Robôs em casas, armazéns e laboratórios encontram tarefas novas depois de implantados. Retreinar do zero com todos os dados a cada vez é caro, e os dados antigos podem não ser mantidos. Os métodos de aprendizado ao longo da vida decidem se um robô consegue acrescentar uma habilidade nova sem perder silenciosamente uma antiga.
Principais aplicações
- Robôs de serviço e domésticos aprendendo novas tarefas da casa após a implantação
- Extensão de políticas de manipulação a novos objetos e ferramentas
- Adaptação de uma frota de robôs implantada a novos locais e layouts
- Avaliação comparativa de aprendizado por imitação contínuo em conjuntos de tarefas
- Adição de habilidades a políticas condicionadas por linguagem ao longo do tempo
Na prática
Uma equipe mantém uma política de manipulação que ganha novas tarefas a partir de demonstrações teleoperadas a cada poucas semanas. Em cada atualização, eles treinam com as novas demonstrações mais um buffer de replay que guarda uma fração das demonstrações anteriores e, antes do lançamento, refazem a avaliação de todas as tarefas aprendidas anteriormente. Eles acompanham uma matriz de taxas de sucesso por tarefa e etapa de treinamento; se uma tarefa anterior cai, aumentam a parcela de replay ou congelam partes da rede. A mesma matriz mostra a transferência para frente, comparando a rapidez com que tarefas novas são aprendidas com a de uma política treinada do zero.
Equívocos comuns
- Aprendizado ao longo da vida é só ajuste fino em cada tarefa nova — o ajuste fino sequencial ingênuo é a linha de base que geralmente esquece as tarefas anteriores; os métodos de aprendizado ao longo da vida existem para evitar isso
- Guardar todos os dados antigos resolve o problema — isso evita o esquecimento, mas o custo cresce a cada tarefa, e o cenário estrito pressupõe que os dados anteriores sejam limitados ou indisponíveis
- Aprendizado ao longo da vida é o mesmo que aprendizado multitarefa — o aprendizado multitarefa treina em todas as tarefas de uma vez, enquanto o aprendizado ao longo da vida as vê uma após a outra
- Evitar o esquecimento é todo o objetivo — a transferência para frente, em que tarefas passadas tornam as novas mais rápidas de aprender, faz parte dele na mesma medida
Quem deve saber
- Pesquisadores de aprendizado robótico que trabalham com aprendizado por imitação e por reforço
- Engenheiros de machine learning que mantêm políticas em robôs implantados
- Desenvolvedores de robôs de serviço que planejam como os robôs ganham novas habilidades
- Pesquisadores que projetam benchmarks de aprendizado robótico
Tecnologias relacionadas
- Aprendizado contínuo (Continual Learning)
- Consolidação elástica de pesos (Elastic Weight Consolidation)
- Experience Replay
- Aprendizado multitarefa (Multitask Learning)
- Aprendizado por transferência (Transfer Learning)
- LIBERO
Termos relacionados
- Imitation Learning
- Behavior Cloning
- Curriculum Learning
- Goal-Conditioned Policy
- Foundation Model
- Reinforcement Learning
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.