Visuomotor Policy

• 又称: end-to-end visuomotor control, vision-based policy
• 类别: Learning & autonomy › Learning from demonstration
• 标签: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

一种控制策略，它把相机图像（通常连同关节状态）直接映射为机器人动作，把感知和控制作为一个模型来学习。

定义

视觉运动策略（Visuomotor policy）以视觉观测为输入，通常是一幅或多幅相机图像，并常常与关节位置和夹爪开度等本体感知状态相结合，输出电机指令：关节力矩、关节速度、末端执行器位姿或夹爪指令。感知和控制是一起学习的，因此策略提取的视觉特征是由什么有助于它行动所塑造的，而不是像来自独立感知模块的物体位姿那样的固定输出。Sergey Levine、Chelsea Finn 及其同事在 2016 年关于深度视觉运动策略端到端训练的工作中，使这个术语得到广泛使用。

大多数视觉运动策略通过从遥操作演示中进行模仿学习、通过强化学习，或通过两者的结合来训练。典型的架构让图像经过卷积编码器或 Transformer 编码器，把结果与本体感知合并，再用多层感知机、Transformer 或扩散策略之类能够表示多个有效动作的生成模型来解码动作。数据效率是核心问题：图像是高维的，演示代价高昂，而策略可能会抓住光照或背景等无关细节。

大量工作通过在其他数据上预训练视觉编码器来解决这个问题，例如大型图像数据集或人类的视频，然后只在机器人演示上训练一个小的策略头。在冻结的编码器之上，少量演示的视觉运动策略能学得多好，已成为评估这类表示的常用方法。其他方法则加入数据增强、包括腕部相机在内的多相机视角，以及用于减少误差累积的动作分块。视觉-语言-动作模型扩展了这一思想，使策略还以语言指令为条件。

为何重要

视觉运动策略让机器人能够处理那些相关状态难以人工设计的任务，例如可变形物体、杂乱场景或精密插装，方法是直接从像素中学习。它们是当前大多数用于操作的模仿学习系统的核心。

主要应用

• 桌面和厨房操作的模仿学习
• 基于相机输入的抓取和拾放
• 布料折叠等可变形物体处理
• 评估面向机器人的预训练视觉表示
• 基于机载相机的无人机和车辆控制

实际应用

一个教机械臂把杯子挂到架子上的团队，用一台固定的场景相机和一台腕部相机采集遥操作演示，记录图像、关节位置和指令的末端执行器运动。他们训练的策略用预训练的视觉骨干网络对每幅图像编码，把特征与关节状态拼接，并预测一小段未来动作。训练时的随机裁剪和颜色抖动帮助策略忽略相机的小幅偏移和光照变化。在机器人上，策略以相机帧率闭环运行，团队用放在新位置的杯子和干扰物来测试它，以检查它是否关注图像中正确的部分。

常见误解

• 视觉运动策略只使用图像 — 大多数策略把图像与本体感知结合起来，而本体感知对精确控制往往至关重要
• 端到端意味着不需要做设计选择 — 架构、动作表示、相机布置和预训练编码器都会强烈影响结果
• 在训练场景中有效的策略在新场景中也会有效 — 除非针对这些变化进行训练，否则视觉运动策略对光照、背景和相机位姿很敏感

谁需要了解

• 机器人学习研究人员
• 构建模仿学习系统的操作工程师
• 研究面向机器人的表示的计算机视觉研究人员
• 采集机器人演示数据的团队

相关技术

• 扩散策略（Diffusion Policy）
• 基于 Transformer 的动作分块（Action Chunking with Transformers，ACT）
• 预训练视觉表示（Pretrained Visual Representations）
• 视觉-语言-动作模型（Vision-Language-Action Models）
• 卷积神经网络（Convolutional Neural Networks）

相关术语

• Behavior Cloning
• Imitation Learning
• Diffusion Policy
• Action Chunking
• Proprioception
• VLA

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

视频

• End-to-End Training of Deep Visuomotor Policies: RAIL
• Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated