Residual Reinforcement Learning

• 又称: residual RL, residual policy learning
• 类别: Learning & autonomy › RL & simulation
• 标签: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

用强化学习学习一个加到现有控制器或学习策略的动作上的修正量，使学习从合理的行为而不是从零开始。

定义

残差强化学习（Residual reinforcement learning）把机器人的动作分成两部分：基础策略的输出和一个学习得到的残差。基础策略可以是手工设计的控制器、轨迹跟踪器，或通过模仿学习训练的策略。残差策略观测状态，通常还同时观测基础动作，并输出一个加到基础动作上的修正量。只有残差用强化学习训练；基础策略保持固定。该方法由两个团队于 2018 年和 2019 年分别独立提出，名称分别为残差策略学习（residual policy learning）和用于机器人控制的残差强化学习。

从一个可用的基础策略出发，会以有益的方式改变学习问题。在训练初期，残差接近零，机器人已经表现得合理，因此探索更安全，奖励也更容易获得，这对稀疏奖励任务和在真实硬件上训练很重要。残差只需学习基础策略做错的部分，例如控制器没有建模的接触效应、摩擦或物体差异。把残差网络初始化为输出零，并限制其幅值，是使早期行为接近基础策略的常用方法。

基础策略也限制了能学到的东西。如果它离良好的行为很远，有界的残差可能无法修正它，而无界的残差则会放弃安全方面的好处。一些变体让残差调整控制器参数，如增益或设定点，而不是原始动作；或者把残差与从少量演示中学到的策略结合起来，由模仿提供基础行为，再由强化学习在精度或鲁棒性方面加以改进。

为何重要

在真实机器人上进行纯强化学习既慢又可能不安全，而手工设计的控制器和模仿策略往往几乎正确，却在接触的细节上失败。残差 RL 把两者结合起来，成为用有限的真实世界交互改进现有控制器的一种实用方法。

主要应用

• 轴孔插装等富接触装配
• 用强化学习改进通过模仿学习得到的策略
• 修正基于模型的控制器中未建模的摩擦和动力学
• 使仿真训练的控制器适应真实硬件
• 在脚本化基线之上改进抓取和手内操作

实际应用

一个团队使用阻抗控制器把一根销钉插入配合紧密的孔中。控制器能可靠地到达孔口，但由于微小的位姿误差和摩擦，经常卡住。他们加入一个残差策略，它观测末端执行器位姿和腕部力/力矩读数，并输出一个加到控制器目标位置上的小偏移量，该偏移量被限幅在一个窄范围内。残差从零开始，因此最初的回合表现得与原控制器一样，它使用 soft actor-critic 等异策略算法训练，奖励基于插入深度。随着训练进行，它学会了让卡住的销钉松脱的小幅修正动作，而基础控制器仍然负责大范围运动。

常见误解

• 残差 RL 会重新训练基础控制器 — 基础策略保持固定，只学习加性修正量
• 任何基础策略都可以 — 残差通常是有界的，因此差的基础策略会限制组合系统所能达到的效果
• 残差 RL 不再需要奖励设计 — 残差仍然需要一个能刻画任务的奖励；基础策略只是让探索更容易、更安全

谁需要了解

• 机器人学习研究人员
• 从事富接触任务的操作工程师
• 用数据改进现有控制器的控制工程师
• 仿真到现实（sim-to-real）的实践者

相关技术

• Soft Actor-Critic
• 双延迟 DDPG（Twin Delayed DDPG，TD3）
• 阻抗控制（Impedance Control）
• 行为克隆（Behavior Cloning）
• 近端策略优化（Proximal Policy Optimization）

相关术语

• Reinforcement Learning
• Soft Actor-Critic
• Impedance Control
• Behavior Cloning
• Sim2Real
• Inverse Reinforcement Learning

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim