Equivariance

• 別名: equivariant networks, symmetry-aware learning, group equivariance
• カテゴリ: Learning & autonomy › Learning from demonstration
• タグ: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation

関数やニューラルネットワークの性質で、入力が変換されると出力が予測可能な形で変換されるもの。たとえば、シーンが回転すると把持の予測も回転する。

定義

同変性（Equivariance）とは、入力が変換されたときに、出力がそれに対応した予測可能な形で変化する関数の性質を指す。形式的には、変換 g を関数の前に適用した結果が、対応する変換を関数の後に適用した結果と同じになるとき、すなわち f(g·x) = g·f(x) のとき、関数 f はその変換群に対して同変であるという。不変性（Invariance）は、出力がまったく変わらない特別な場合で、f(g·x) = f(x) である。

ロボティクスはこうした対称性に満ちている。テーブル上のシーンが回転すれば正しい把持も一緒に回転すべきであり、物体が移動すれば、それを拾い上げるのに必要な動作も一緒に移動すべきである。関係する変換群は通常、平面内の回転と並進（SO(2)、SE(2)）か、3 次元での回転と並進（SO(3)、SE(3)）である。通常の畳み込みネットワークはもともと画像の並進に対して同変であり、これが視覚で高い性能を出す理由の一つである。同変ネットワークはこれを回転やその他の変換に拡張する。

同変アーキテクチャは、ネットワークがデータから対称性を学ぶことを期待するのではなく、対称性をネットワークの層に組み込む。群同変畳み込みネットワーク、ステアラブル畳み込み、そしてベクトルニューロン（vector neurons）のような点群手法がその例である。ネットワークはあらゆる向きの例を個別に必要としないため、同変モデルはより少ないデモンストレーションから学習でき、訓練で一度も見ていない姿勢にも汎化できる。

設計上の主な問いは、どの対称性が実際に成り立つかである。重力とテーブル面は 3 次元の完全な回転対称性を破るため、多くのマニピュレーションシステムは鉛直軸まわりの回転だけを使う。タスクが持たない対称性を選ぶとモデルは誤った答えを出さざるをえなくなり、成り立っている対称性を無視するとデータが無駄になる。

重要な理由

ロボットのデータは収集コストが高く、同変性は同じ量のデータからより大きな汎化を得る最も直接的な方法の一つである。少数の物体姿勢で訓練したポリシーが、同じシーンを回転させたりずらしたりした場合にも妥当に振る舞えるようになる。

主な用途

• 画像や点群からの把持とピックアンドプレースの予測
• 少数のデモンストレーションからのサンプル効率の高いポリシー学習
• 姿勢推定と物体中心の知覚
• 部品の向きが変わる組立や配置のタスク

実際の使われ方

デモンストレーションから卓上マニピュレーションのポリシーを訓練するチームは、平面内の回転に対して同変なネットワークを使うことがある。そうすれば、マグカップがある向きのときに記録したデモンストレーションが、マグカップが別の向きのときにどうすべきかもポリシーに教える。まず、グリッパーやカメラの取り付け方が回転対称性を破っていないかなど、タスクが実際にどの対称性を持つかを確認し、そのうえで同変ネットワークのライブラリを選び、回転によるデータ拡張で訓練した標準的なネットワークをベースラインとして比較する。

よくある誤解

• 同変性と不変性は同じものである — 不変な出力は変換を受けても変わらないが、同変な出力は入力とともに変換される
• データ拡張でも同じ結果が得られる — データ拡張は対称性を近似的に促すだけだが、同変アーキテクチャはそれを厳密に課す
• 対称性は多いほどよい — 重力下での 3 次元の完全な回転のように、タスクが持たない対称性を課すと、モデルは誤らざるをえなくなる

知っておくべき人

• マニピュレーションのポリシーに取り組むロボット学習の研究者
• 点群や姿勢推定を扱う知覚エンジニア
• ロボティクス向けのネットワークアーキテクチャを設計する機械学習エンジニア

関連技術

• 群同変 CNN（Group-Equivariant CNNs）
• ステアラブル CNN（Steerable CNNs）
• ベクトルニューロン（Vector Neurons）
• データ拡張（Data Augmentation）
• 拡散ポリシー（Diffusion Policy）
• リー群（Lie Groups、SE(3)）

関連用語

• Diffusion Policy
• Imitation Learning
• Transform

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design

動画

• Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr