Equivariance
- 又稱: equivariant networks, symmetry-aware learning, group equivariance
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation
函數或神經網路的一種性質：輸入經過變換時，輸出會以可預測的方式跟著變換，例如場景旋轉時，抓取預測也隨之旋轉。
定義
等變性（Equivariance）描述這樣的函數：當輸入經過變換時，輸出會以相對應、可預測的方式改變。形式上，若對一組變換而言，在函數之前施加變換 g，與在函數之後施加對應的變換，得到相同的結果，也就是 f(g·x) = g·f(x)，就稱函數 f 對這組變換具有等變性。不變性（Invariance）是輸出完全不改變的特例：f(g·x) = f(x)。
機器人領域處處可見這類對稱性。如果桌上的場景被旋轉，正確的抓取也應跟著旋轉；如果一個物體被移動，拿起它所需的動作也應跟著移動。相關的變換群通常是平面上的旋轉與平移（SO(2)、SE(2)），或三維空間中的旋轉與平移（SO(3)、SE(3)）。一般的卷積網路本來就對影像平移具有等變性，這是它們在視覺任務上表現良好的原因之一；等變網路則把這一點延伸到旋轉與其他變換。
等變架構把對稱性直接建構在網路的各層中，而不是期待網路從資料中學到它。群等變卷積網路、可操控卷積，以及向量神經元（vector neurons）等點雲方法都是例子。由於網路不需要每一種朝向的個別範例，等變模型可以從較少的示範中學習，並泛化到訓練時從未見過的姿態。
主要的設計問題在於哪一種對稱性真正成立。重力與桌面破壞了完整的 3D 旋轉對稱性，因此許多操作系統只採用繞垂直軸的旋轉。選擇任務本身不具備的對稱性，會迫使模型產生錯誤的答案；而忽略確實成立的對稱性，則會浪費資料。
為何重要
機器人資料的蒐集成本很高，而等變性是用同樣多的資料取得更佳泛化能力最直接的方法之一。它讓只在少數物體姿態上訓練的策略，也能在同一場景經過旋轉或平移的版本上做出合理的動作。
主要應用
- 從影像或點雲預測抓取與取放
- 從少量示範進行具樣本效率的策略學習
- 姿態估測與以物體為中心的感知
- 零件朝向會變動的組裝與放置任務
實際應用
從示範訓練桌面操作策略的團隊，可能會採用對平面旋轉具有等變性的網路，讓杯子朝某個方向時錄下的示範，也能教會策略在杯子朝另一個方向時該怎麼做。他們會先檢查任務實際具備哪些對稱性，例如夾爪或攝影機的安裝方式是否破壞了旋轉對稱性，再選擇一套等變網路函式庫，並以一個用旋轉資料增強訓練的標準網路作為基準來比較。
常見誤解
- 等變性與不變性是同一回事 — 不變的輸出在變換下保持固定，而等變的輸出會隨輸入一起變換
- 資料增強能得到相同的結果 — 資料增強只是近似地促成某種對稱性，而等變架構則精確地強制這種對稱性
- 對稱性越多越好 — 強制任務本身不具備的對稱性，例如重力作用下的完整 3D 旋轉，會迫使模型出錯
誰需要了解
- 研究操作策略的機器人學習研究人員
- 處理點雲與姿態估測的感知工程師
- 為機器人設計網路架構的機器學習工程師
相關技術
- 群等變卷積網路（Group-Equivariant CNNs）
- 可操控卷積網路（Steerable CNNs）
- 向量神經元（Vector Neurons）
- 資料增強（Data Augmentation）
- 擴散策略（Diffusion Policy）
- 李群（Lie Groups，SE(3)）
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
- Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
影片
- Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr