Meta-Reinforcement Learning
- 又称: meta-RL
- 类别: Learning & autonomy › RL & simulation
- 标签: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
一种强化学习,在许多相关任务上训练,使智能体学会如何适应,从而只需少量经验就能解决同一类别中的新任务。
定义
元强化学习(Meta-reinforcement learning,meta-RL)把学习本身当作要学习的对象。智能体不是为单一任务训练一个策略,而是在一组相关任务的分布上接受训练,例如到达不同的目标、推动不同质量的物体或打开不同的门。目标是:当给出从同一分布中抽取的新任务时,它能用少量新经验(通常是几个回合)完成适应,而不是从零开始学习。训练分为内循环和外循环:内循环适应单个任务,外循环在各任务之间改进适应过程。
常见的方法有三类。基于梯度的方法,例如模型无关元学习(MAML,Finn、Abbeel 和 Levine,2017),学习一组初始网络权重,从这组权重出发,在新任务上执行几步梯度更新就能得到一个好的策略。循环式或基于上下文的方法,例如 RL²(Duan 等,2016),把状态、动作和奖励的历史输入一个循环网络或其他序列模型,其隐藏状态携带它对当前任务所学到的信息,因此适应过程无需梯度更新。潜在任务推断方法,例如 PEARL(Rakelly 等,2019),学习一个编码器,从经验中推断出一个概率性的任务变量,并以它作为策略的条件,这也使离策略训练成为可能。
Meta-RL 与部分可观测决策密切相关:未知任务可以看作状态中隐藏的一部分,智能体必须通过行动来推断它。它不同于多任务强化学习:后者训练单个策略在一组已知、固定的任务上表现良好,通常会给出任务身份,并且不衡量对未见任务的适应能力。Meta-World 等基准在同一组操作任务上测试这两种设定。结果在很大程度上取决于训练任务分布有多宽:meta-RL 往往能很好地适应训练任务的变体,而对结构不同的任务适应得较差。
为何重要
机器人不断遇到变化:不同的物体、负载、地形和磨损。Meta-RL 是让学习得到的控制器快速适应这类变化、而不必从零开始重新训练的主要方法之一,同样的思想也是仿真到现实腿足运动中所用的在线适应模块的基础。
主要应用
- 让操作技能快速适应新的目标和物体
- 让运动控制器适应变化的负载、地形或损伤
- 在基于模型的控制中在线适应学习得到的动力学模型
- 用 Meta-World 等任务族评测泛化能力
- 从少量机器人数据进行少样本模仿与适应
实际应用
一个研究团队希望机械臂能通过少量试验学会一项新的操作技能。他们在仿真中构建了一个任务族,在多种任务类型中随机设置物体位置和目标,并训练一个基于上下文的 meta-RL 智能体,以从最近的状态转移中推断出的潜在任务变量作为条件。测试时,在一个留出的目标上,机器人采集几个探索性回合,编码器更新它对任务的估计,策略在没有任何梯度更新的情况下得到改进。团队分别报告了在训练任务的留出变体上和在全新任务类型上的成功率,因为后者的表现通常低得多。
常见误解
- Meta-RL 学到的策略无所不能 — 它适应的是训练分布中的任务,对结构不同的任务通常泛化得很差
- Meta-RL 和多任务 RL 是一回事 — 多任务 RL 优化在一组已知任务上的性能,而 meta-RL 优化适应新任务的速度
- 适应总是意味着微调权重 — 基于上下文的方法完全通过更新隐藏状态或潜变量来适应,测试时不执行任何梯度步
谁需要了解
- 研究泛化与适应的机器人学习研究人员
- 设计任务分布的强化学习从业者
- 构建自适应运动和操作控制器的工程师
- 机器人机器学习方向的研究生
相关技术
- 模型无关元学习(Model-Agnostic Meta-Learning,MAML)
- RL²
- PEARL
- Meta-World
- 循环神经网络(Recurrent Neural Networks)
相关术语
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
视频
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing