Curriculum Learning

• 又称: curriculum training, task curriculum
• 类别: Learning & autonomy › RL & simulation
• 标签: reinforcement-learning, robot-learning, training, simulation, locomotion

一种训练策略，先给学习系统较容易的任务或样本，再逐步提高难度，使其能够掌握那些难以从零学会的技能。

定义

课程学习（Curriculum learning）是把训练经验按由易到难的顺序排列，而不是一次性全部呈现的做法。这一思想与人类接受教学的方式相似：学生先学算术，再学微积分。在机器学习中，它由 Bengio 等人于 2009 年形式化，他们表明，精心选择的样本顺序可以加快训练并改善最终结果。

在机器人领域，课程最常见于强化学习：如果智能体一开始面对的任务远超其能力，它可能永远得不到有用的奖励信号。课程让智能体始终处于其能力的边缘。难度可以沿许多维度提高：足式机器人的地形粗糙度和坡度、爬楼梯的台阶高度、导航中到目标的距离、抓取中物体的多样性、外部推力的强度，或者奖励的稀疏程度。

课程可以手工设计，设有固定的阶段和进入下一阶段的阈值，也可以是自动的。自动课程根据智能体的表现调整难度，例如在仿真机器人成功时把它提升到更难的地形，失败时把它降级。相关的思想包括自动目标生成，即由训练系统提出难度合适的目标，以及自我对弈，即对手共同进步。

课程引入了可能出错的设计选择。难度提高得太快，学习会停滞；太慢，则会浪费算力。一个从未覆盖部署中所见的全部条件范围的课程，可能使策略对这些条件毫无准备。

为何重要

许多机器人技能，例如攀爬、跳跃或在崎岖地面上行走，无法从零开始通过试错学会，因为随机行为几乎从不成功。课程学习通过分步构建使这些技能变得可学，它也是在仿真中训练的运动控制器的标准组成部分。

主要应用

• 在逐步变难的地形上训练足式运动
• 学习攀爬和上下楼梯技能
• 目标距离或杂乱程度逐步增加的导航任务
• 物体多样性或精度要求逐步提高的操作任务

实际应用

在基于 GPU 的运动训练中，一种常见设置是地形课程：数千个仿真机器人分布在按难度排列的地形图块网格上，例如高度逐渐增加的斜坡、楼梯和粗糙地块。每个机器人从简单的图块开始；如果它在一个回合中走得足够远，就移到更难的图块，如果失败就退回。团队常常同时在指令速度和扰动强度上运行并行课程，并记录机器人在各难度等级上的分布，作为训练进展的直接度量。部署前，他们会在最难的等级以及课程之外的条件下评估最终策略，以确认它没有只针对训练阶梯进行调优。

常见误解

• 课程总是有帮助 — 设计不佳的课程可能减慢训练，或使策略偏向它所强调的条件
• 课程必须手工设计 — 许多系统根据智能体测得的表现自动调整难度
• 课程学习只适用于强化学习 — 它最初是针对监督学习形式化的，在那里同样适用

谁需要了解

• 强化学习从业者
• 足式机器人控制工程师
• 仿真与训练环境设计者
• 从事机器人学习的机器学习学生

相关技术

• 强化学习（Reinforcement Learning）
• Isaac Lab
• 域随机化（Domain Randomization）
• 奖励塑形（Reward Shaping）
• 自动课程学习（Automatic Curriculum Learning）
• 自我对弈（Self-Play）

相关术语

• Reinforcement Learning
• Domain Randomization
• Teacher-Student Training

相关项目

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

视频

• Curriculum Learning in Deep Neural Networks: Connor Shorten
• Teacher-Student Curriculum Learning: Connor Shorten