Equivariance
- 又称: equivariant networks, symmetry-aware learning, group equivariance
- 类别: Learning & autonomy › Learning from demonstration
- 标签: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation
函数或神经网络的一种性质：当输入发生变换时，输出以可预测的方式随之变换，例如场景旋转时抓取预测也随之旋转。
定义
等变性（Equivariance）描述这样一种函数：当输入发生变换时，其输出以相应的、可预测的方式随之变化。形式上，如果对一组变换而言，先施加变换 g 再应用函数，与先应用函数再施加相应的变换得到相同的结果，即 f(g·x) = g·f(x)，则称函数 f 对这组变换是等变的。不变性（Invariance）是输出完全不变的特例：f(g·x) = f(x)。
机器人领域充满了这样的对称性。如果桌上的场景被旋转，正确的抓取也应随之旋转；如果一个物体被移动，拾取它所需的运动也应随之移动。相关的变换群通常是平面内的旋转和平移（SO(2)、SE(2)），或三维空间中的旋转和平移（SO(3)、SE(3)）。普通的卷积网络本身就对图像平移等变，这是它们在视觉任务上表现良好的原因之一；等变网络把这一点扩展到旋转和其他变换。
等变架构把对称性直接构建进网络的各层，而不是寄希望于网络从数据中学到它。群等变卷积网络、可操纵卷积以及向量神经元（vector neurons）等点云方法都是例子。由于网络不需要每个朝向的单独样本，等变模型可以从更少的演示中学习，并泛化到训练中从未见过的位姿。
主要的设计问题是哪种对称性真正成立。重力和桌面破坏了完整的 3D 旋转对称性，因此许多操作系统只使用绕竖直轴的旋转。选择任务并不具备的对称性会迫使模型给出错误的答案，而忽略确实成立的对称性则会浪费数据。
为何重要
机器人数据的采集成本很高，而等变性是用同样多的数据获得更强泛化能力的最直接途径之一。它让一个只在少数物体位姿上训练的策略，也能在同一场景经过旋转或平移的版本上做出合理的动作。
主要应用
- 基于图像或点云的抓取和拾放预测
- 从少量演示中进行高样本效率的策略学习
- 位姿估计和以物体为中心的感知
- 零件朝向会变化的装配和放置任务
实际应用
一个从演示中训练桌面操作策略的团队，可能会使用对平面旋转等变的网络，这样在杯子朝一个方向时录制的演示，也能教会策略在杯子朝另一个方向时该怎么做。他们首先检查任务真正具备哪些对称性，例如夹爪或相机的安装方式是否破坏了旋转对称性，然后选择一个等变网络库，并与一个使用旋转数据增强训练的标准网络作为基线进行比较。
常见误解
- 等变性和不变性是一回事 — 不变的输出在变换下保持不变，而等变的输出会随输入一起变换
- 数据增强能得到同样的结果 — 数据增强只是近似地鼓励某种对称性，而等变架构则精确地强制这种对称性
- 对称性越多越好 — 强制任务并不具备的对称性，例如重力作用下的完整 3D 旋转，会迫使模型出错
谁需要了解
- 研究操作策略的机器人学习研究人员
- 处理点云和位姿估计的感知工程师
- 为机器人设计网络架构的机器学习工程师
相关技术
- 群等变卷积网络（Group-Equivariant CNNs）
- 可操纵卷积网络（Steerable CNNs）
- 向量神经元（Vector Neurons）
- 数据增强（Data Augmentation）
- 扩散策略（Diffusion Policy）
- 李群（Lie Groups，SE(3)）
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
- Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
视频
- Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr