Equivariance

• Detto anche: equivariant networks, symmetry-aware learning, group equivariance
• Categoria: Learning & autonomy › Learning from demonstration
• Tag: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation

Una proprietà di una funzione o di una rete neurale il cui output si trasforma in modo prevedibile quando il suo input viene trasformato, per esempio una previsione di presa che ruota quando ruota la scena.

Definizione

Equivarianza (equivariance) descrive una funzione il cui output cambia in modo corrispondente e prevedibile quando il suo input viene trasformato. Formalmente, una funzione f è equivariante rispetto a un gruppo di trasformazioni se applicare una trasformazione g prima della funzione dà lo stesso risultato che applicare la trasformazione corrispondente dopo di essa: f(g·x) = g·f(x). L'invarianza è il caso particolare in cui l'output non cambia affatto: f(g·x) = f(x).

La robotica è piena di simmetrie di questo tipo. Se una scena su un tavolo viene ruotata, la presa corretta dovrebbe ruotare con essa; se un oggetto viene spostato, anche il movimento necessario per prenderlo dovrebbe spostarsi. I gruppi di trasformazioni rilevanti sono di solito rotazioni e traslazioni nel piano (SO(2), SE(2)) o in tre dimensioni (SO(3), SE(3)). Le normali reti convoluzionali sono già equivarianti alle traslazioni dell'immagine, ed è uno dei motivi per cui funzionano bene nella visione; le reti equivarianti estendono questa proprietà alle rotazioni e ad altre trasformazioni.

Le architetture equivarianti incorporano la simmetria negli strati della rete invece di sperare che la rete la impari dai dati. Ne sono esempi le reti convoluzionali equivarianti rispetto a gruppi, le convoluzioni orientabili (steerable) e i metodi per nuvole di punti come Vector Neurons. Poiché la rete non ha bisogno di esempi separati per ogni orientamento, i modelli equivarianti possono imparare da meno dimostrazioni e generalizzare a pose mai viste in addestramento.

La principale questione di progetto è quale simmetria valga davvero. La gravità e la superficie del tavolo rompono la simmetria rotazionale 3D completa, perciò molti sistemi di manipolazione usano solo la rotazione attorno all'asse verticale. Scegliere una simmetria che il compito non ha costringe il modello a dare risposte sbagliate, mentre ignorare una simmetria che vale spreca dati.

Perché è importante

I dati robotici sono costosi da raccogliere, e l'equivarianza è uno dei modi più diretti per ottenere più generalizzazione dalla stessa quantità di dati. Permette a una policy addestrata su poche pose degli oggetti di agire in modo sensato su versioni ruotate o spostate della stessa scena.

Applicazioni principali

• Previsione di presa e di pick-and-place da immagini o nuvole di punti
• Apprendimento di policy efficiente in campioni a partire da poche dimostrazioni
• Stima della posa e percezione centrata sugli oggetti
• Compiti di assemblaggio e posizionamento in cui l'orientamento dei pezzi varia

In pratica

Un team che addestra una policy di manipolazione da tavolo a partire da dimostrazioni potrebbe usare una rete equivariante alle rotazioni nel piano, così che una dimostrazione registrata con una tazza rivolta in un verso insegni alla policy anche cosa fare quando la tazza è rivolta in un altro. Per prima cosa verifica quali simmetrie il compito abbia davvero, per esempio se la pinza o il montaggio della telecamera rompono la simmetria rotazionale, poi sceglie una libreria equivariante e la confronta con una rete standard addestrata con data augmentation per rotazione come baseline.

Idee sbagliate comuni

• Equivarianza e invarianza sono la stessa cosa — un output invariante resta fisso sotto una trasformazione, mentre un output equivariante si trasforma insieme all'input
• La data augmentation dà lo stesso risultato — l'augmentation favorisce una simmetria in modo approssimato, mentre un'architettura equivariante la impone esattamente
• Più simmetria è sempre meglio — imporre una simmetria che il compito non ha, come la rotazione 3D completa sotto la gravità, costringe il modello a sbagliare

Chi dovrebbe saperlo

• Ricercatori di apprendimento robotico che lavorano su policy di manipolazione
• Ingegneri della percezione che lavorano con nuvole di punti e stima della posa
• Ingegneri di machine learning che progettano architetture di rete per la robotica

Tecnologie correlate

• CNN equivarianti rispetto a gruppi (Group-Equivariant CNNs)
• CNN orientabili (Steerable CNNs)
• Vector Neurons
• Data augmentation
• Diffusion Policy
• Gruppi di Lie (SE(3))

Termini correlati

• Diffusion Policy
• Imitation Learning
• Transform

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design

Video

• Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr