Equivariance

Auch genannt: equivariant networks, symmetry-aware learning, group equivariance
Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation

Eine Eigenschaft einer Funktion oder eines neuronalen Netzes, deren Ausgabe sich vorhersagbar transformiert, wenn die Eingabe transformiert wird, zum Beispiel eine Griffvorhersage, die sich mitdreht, wenn sich die Szene dreht.

Definition

Äquivarianz (Equivariance) beschreibt eine Funktion, deren Ausgabe sich auf passende, vorhersagbare Weise ändert, wenn ihre Eingabe transformiert wird. Formal ist eine Funktion f äquivariant bezüglich einer Gruppe von Transformationen, wenn das Anwenden einer Transformation g vor der Funktion dasselbe Ergebnis liefert wie das Anwenden der entsprechenden Transformation nach ihr: f(g·x) = g·f(x). Invarianz (Invariance) ist der Spezialfall, in dem sich die Ausgabe überhaupt nicht ändert: f(g·x) = f(x).

Die Robotik ist voller solcher Symmetrien. Wird eine Szene auf einem Tisch gedreht, sollte sich der richtige Griff mitdrehen; wird ein Objekt verschoben, sollte sich auch die zum Aufnehmen nötige Bewegung verschieben. Die relevanten Transformationsgruppen sind meist Rotationen und Translationen in der Ebene (SO(2), SE(2)) oder in drei Dimensionen (SO(3), SE(3)). Gewöhnliche Convolutional Neural Networks sind bereits äquivariant gegenüber Bildtranslationen, was ein Grund dafür ist, dass sie in der Bildverarbeitung gut funktionieren; äquivariante Netze erweitern dies auf Rotationen und andere Transformationen.

Äquivariante Architekturen bauen die Symmetrie in die Schichten des Netzes ein, statt darauf zu hoffen, dass das Netz sie aus Daten lernt. Gruppenäquivariante Convolutional Networks, Steerable Convolutions und Punktwolkenmethoden wie Vector Neurons sind Beispiele. Da das Netz nicht für jede Orientierung eigene Beispiele braucht, können äquivariante Modelle aus weniger Demonstrationen lernen und auf Posen generalisieren, die im Training nie vorkamen.

Die zentrale Entwurfsfrage ist, welche Symmetrie tatsächlich gilt. Schwerkraft und Tischoberfläche brechen die volle 3D-Rotationssymmetrie, daher verwenden viele Manipulationssysteme nur die Rotation um die vertikale Achse. Wählt man eine Symmetrie, die die Aufgabe nicht hat, wird das Modell zu falschen Antworten gezwungen; ignoriert man eine Symmetrie, die tatsächlich gilt, verschwendet man Daten.

Warum es wichtig ist

Roboterdaten sind teuer zu erheben, und Äquivarianz ist einer der direktesten Wege, aus derselben Datenmenge mehr Generalisierung zu gewinnen. Sie ermöglicht es einer Policy, die auf wenigen Objektposen trainiert wurde, auf gedrehten oder verschobenen Varianten derselben Szene sinnvoll zu handeln.

Wichtige Anwendungen

Vorhersage von Griffen und Pick-and-Place aus Bildern oder Punktwolken
Dateneffizientes Policy-Lernen aus wenigen Demonstrationen
Posenschätzung und objektzentrierte Wahrnehmung
Montage- und Platzierungsaufgaben mit wechselnder Teileorientierung

In der Praxis

Ein Team, das eine Manipulations-Policy für den Tisch aus Demonstrationen trainiert, könnte ein Netz verwenden, das äquivariant gegenüber ebenen Rotationen ist, sodass eine Demonstration, die mit einem in eine Richtung zeigenden Becher aufgenommen wurde, der Policy auch beibringt, was zu tun ist, wenn der Becher in eine andere Richtung zeigt. Es prüft zunächst, welche Symmetrien die Aufgabe wirklich hat, zum Beispiel ob der Greifer oder die Kameramontage die Rotationssymmetrie bricht, wählt dann eine äquivariante Bibliothek und vergleicht mit einem Standardnetz, das mit Rotations-Datenaugmentation trainiert wurde, als Baseline.

Häufige Missverständnisse

Äquivarianz und Invarianz sind dasselbe — eine invariante Ausgabe bleibt unter einer Transformation fest, während sich eine äquivariante Ausgabe mit der Eingabe transformiert
Datenaugmentation liefert dasselbe Ergebnis — Augmentation fördert eine Symmetrie näherungsweise, während eine äquivariante Architektur sie exakt erzwingt
Mehr Symmetrie ist immer besser — eine Symmetrie zu erzwingen, die die Aufgabe nicht hat, etwa volle 3D-Rotation unter Schwerkraft, zwingt das Modell zu Fehlern

Wer das wissen sollte

Forschende im Roboterlernen, die an Manipulations-Policies arbeiten
Wahrnehmungsingenieure, die mit Punktwolken und Posenschätzung arbeiten
Machine-Learning-Ingenieure, die Netzarchitekturen für die Robotik entwerfen

Videos

Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr

Wikipedia

Äquivariante Abbildung

Open Source Robotics