Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Multi-Task Reinforcement Learning

  • 又称: multi-task RL, MTRL
  • 类别: Learning & autonomy › RL & simulation
  • 标签: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning

一种强化学习,训练一个以任务标识或任务描述为条件的策略,使其同时在一组固定的任务上表现良好。

定义

多任务强化学习(Multi-task reinforcement learning)训练单个智能体去解决多个任务,而不是为每个任务分别训练一个智能体。策略通常是任务条件化的:它在接收状态的同时,还接收一个独热(one-hot)任务标识、一个目标、一条语言指令或其他任务描述,目标函数是整个任务集上的平均期望回报。人们希望各任务之间共享结构,例如如何移动手臂或抓住把手,这样一个任务的经验就能帮助其他任务,共享策略所需的数据也比各任务单独训练时更少。

在实践中,共享也可能带来损害。任务之间可能需要相互冲突的行为,它们的奖励在量级上可能相差很大,而来自一个任务的梯度更新可能抵消另一个任务上的进展,这一问题被称为负迁移或梯度干扰。常见的补救措施包括:对回报进行归一化或为每个任务使用单独的价值头;调整梯度使任务之间不发生冲突;让任务经过部分分离的网络模块;平衡每个任务被采样的频率;以及把分别训练的专家策略蒸馏到一个学生策略中。目标条件学习是一种特例,其中各任务只在目标上不同,并共享相同的奖励结构。

多任务 RL 不同于元强化学习。多任务 RL 在其训练过的任务上进行评估,通常已知任务身份;meta-RL 评估的则是它对从同一分布中抽取的新任务适应得有多快。Meta-World 等基准在同一组操作任务上提供了这两种设定,使两者的差别变得具体。多任务训练也是在大量任务的示范数据上训练的大型机器人策略的构建模块之一,不过这些策略通常通过模仿而不是强化学习来训练。

为何重要

有用的机器人需要许多技能,而为每项技能训练并维护一个策略是无法扩展的。多任务 RL 是通往单个控制器覆盖多种行为的强化学习路线,在设计这类系统时,理解共享在哪里有帮助、在哪里造成干扰至关重要。

主要应用

  • 用于多种桌面操作技能的单一策略
  • 以语言或目标为条件的机器人控制器
  • 把多个专家策略蒸馏为一个可部署的网络
  • 跨步态、速度或地形共享的运动策略
  • 评测任务之间的迁移与干扰

实际应用

一个团队希望用一个策略让桌面机械臂完成开抽屉、按按钮和拧水龙头。他们在仿真中训练一个任务条件化的 SAC 智能体,把一个独热任务向量附加到观测上。早期的训练显示,策略掌握了两个任务而忽略了其他任务,因为这两个任务的奖励更大,主导了更新。团队为每个任务加入单独学习的温度参数,在每个批次中均匀地采样任务,并按任务而不仅仅按平均值跟踪成功率,这使较弱的任务得到提升,同时没有拖慢较强的任务。

常见误解

  • 在更多任务上训练总能帮助每个任务 — 相互冲突的任务会彼此干扰,多任务策略在某些任务上的表现可能不如单任务训练
  • 多任务 RL 产生的智能体能适应新任务 — 它在训练任务上进行评估;快速适应未见任务是 meta-RL 的目标
  • 跨任务的平均回报能说明策略的效果 — 较高的平均值可能掩盖了策略没能学会的任务,因此应按任务报告成功率

谁需要了解

  • 构建通用策略的机器人学习研究人员
  • 在任务套件上进行训练的强化学习工程师
  • 设计任务条件化方式的操作工程师
  • 比较多任务学习、元学习和终身学习的学生

相关技术

  • Meta-World
  • 策略蒸馏(Policy Distillation)
  • 梯度手术(Gradient Surgery,PCGrad)
  • Soft Actor-Critic
  • 任务嵌入(Task Embeddings)

相关术语

  • Meta-Reinforcement Learning
  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Lifelong Robot Learning
  • Curriculum Learning

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。