Asymmetric Actor-Critic

又称: asymmetric critic, privileged critic
类别: Learning & autonomy › RL & simulation
标签: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

一种 actor-critic 强化学习设置：critic 基于特权仿真器状态进行训练，而 actor 只使用真实机器人将会拥有的观测。

定义

非对称 actor-critic（Asymmetric actor-critic）是一种在训练环境比部署后的机器人掌握更多信息时，用 actor-critic 强化学习算法训练策略的方法。actor 最终成为部署的策略，它只接收现实中可获得的观测，例如相机图像、关节编码器读数或带噪声的物体位姿估计。critic 估计状态的价值，它的存在只是为了在训练中降低策略梯度的方差；它被额外提供特权信息：精确的物体位姿和速度、接触力、摩擦系数以及其他仿真器状态。Pinto 及其同事在 2018 年针对基于图像的机器人学习提出了这一名称，当时 actor 看到的是图像，而 critic 看到的是完整状态。

这一思路之所以可行，是因为 critic 在训练后就被丢弃。它所使用的任何输入都不必在真实机器人上测量，因此可以把任何能让价值估计最容易的信息提供给它。拥有完整状态的 critic 比必须从部分观测中推断隐藏量的 critic 学得更快、更准确，从而为 actor 提供更好的学习信号。这种方法自然地适用于 PPO 等同策略方法（例如在 Isaac Gym 中用于手内重定向），也适用于 DDPG 或 SAC 等离策略方法。

非对称 actor-critic 不同于教师-学生训练（teacher-student training）。在教师-学生训练中，先用特权输入训练一个单独的教师策略，再把它蒸馏到只看到真实观测的学生策略中。在非对称 actor-critic 中只有一个策略，它直接通过强化学习在现实可得的输入上训练；只有价值函数是特权的。两者经常结合使用。一个微妙之处在于，在部分可观测的情况下，仅以真实状态为条件的 critic 可能为依据观测历史行动的策略给出有偏的价值估计，因此许多实现会同时把特权状态和 actor 的观测都输入 critic。

为何重要

仿真到现实的强化学习需要能在真实传感器上运行的策略，但从部分的、带噪声的观测中学习既慢又不稳定。把特权仿真器状态提供给 critic，是对标准算法的一项低成本改动，往往能使训练快得多、可靠得多，而且不会增加部署后的机器人需要测量的任何量。

主要应用

用灵巧机器人手进行手内物体重定向
在仿真中训练的基于图像的操作策略
利用特权地形和接触信息训练的足式运动策略
使用 GPU 并行仿真器的仿真到现实强化学习
仿真器能暴露隐藏状态的部分可观测控制任务

实际应用

一个团队用 PPO 在 GPU 仿真器中训练多指手对物体进行重定向。actor 网络接收指尖位置、关节角度，以及加入了噪声和延迟的物体位姿估计，与基于相机的位姿跟踪器在硬件上将会提供的信息一致。critic 网络接收同样的输入，外加精确的物体位姿、线速度和角速度、目标朝向，以及该环境中随机化的摩擦和质量值。两个网络共享同样的 rollout，并一起更新。部署时只有 actor 的权重被导出到机器人计算机上；critic 和仅存在于仿真器中的输入不再被需要。

常见误解

部署的策略使用特权状态 — 只有 critic 在训练中能看到它，而 critic 在部署时被丢弃
它与教师-学生训练相同 — 教师-学生训练先训练一个特权策略再将其蒸馏，而非对称 actor-critic 借助特权价值函数直接训练一个使用现实输入的策略
仅使用状态的 critic 总是正确的 — 在部分可观测的情况下，它可能使基于观测的 actor 的价值估计产生偏差，这就是为什么 critic 往往也会被输入 actor 的观测

谁需要了解

从事仿真到现实迁移的强化学习工程师
灵巧操作研究人员
在仿真中训练策略的足式运动开发人员
为训练设计观测空间的仿真工程师

Open Source Robotics

Asymmetric Actor-Critic

定义

为何重要

主要应用

实际应用

常见误解

谁需要了解

相关技术

相关术语

相关项目