Equivariance

• También llamado: equivariant networks, symmetry-aware learning, group equivariance
• Categoría: Learning & autonomy › Learning from demonstration
• Etiquetas: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation

Una propiedad de una función o red neuronal cuya salida se transforma de forma predecible cuando se transforma su entrada, por ejemplo una predicción de agarre que rota cuando rota la escena.

Definición

Equivarianza (equivariance) describe una función cuya salida cambia de forma correspondiente y predecible cuando su entrada se transforma. Formalmente, una función f es equivariante respecto a un grupo de transformaciones si aplicar una transformación g antes de la función da el mismo resultado que aplicar la transformación correspondiente después de ella: f(g·x) = g·f(x). La invarianza es el caso particular en el que la salida no cambia en absoluto: f(g·x) = f(x).

La robótica está llena de simetrías de este tipo. Si una escena sobre una mesa se rota, el agarre correcto debería rotar con ella; si un objeto se desplaza, el movimiento necesario para cogerlo también debería desplazarse. Los grupos de transformaciones relevantes suelen ser rotaciones y traslaciones en el plano (SO(2), SE(2)) o en tres dimensiones (SO(3), SE(3)). Las redes convolucionales ordinarias ya son equivariantes a las traslaciones de la imagen, lo que es una de las razones por las que funcionan bien en visión; las redes equivariantes extienden esto a rotaciones y otras transformaciones.

Las arquitecturas equivariantes incorporan la simetría en las capas de la red en lugar de esperar que la red la aprenda a partir de los datos. Las redes convolucionales equivariantes de grupo, las convoluciones orientables (steerable) y los métodos para nubes de puntos como Vector Neurons son ejemplos. Como la red no necesita ejemplos separados de cada orientación, los modelos equivariantes pueden aprender con menos demostraciones y generalizar a poses nunca vistas en el entrenamiento.

La principal cuestión de diseño es qué simetría se cumple realmente. La gravedad y la superficie de la mesa rompen la simetría rotacional 3D completa, por lo que muchos sistemas de manipulación usan solo la rotación alrededor del eje vertical. Elegir una simetría que la tarea no tiene obliga al modelo a dar respuestas erróneas, mientras que ignorar una simetría que sí se cumple desperdicia datos.

Por qué importa

Los datos de robots son caros de recoger, y la equivarianza es una de las formas más directas de obtener más generalización con la misma cantidad de datos. Permite que una política entrenada con unas pocas poses de objetos actúe con sensatez en versiones rotadas o desplazadas de la misma escena.

Aplicaciones clave

• Predicción de agarre y de pick-and-place a partir de imágenes o nubes de puntos
• Aprendizaje de políticas eficiente en muestras a partir de pocas demostraciones
• Estimación de pose y percepción centrada en objetos
• Tareas de ensamblaje y colocación en las que varía la orientación de las piezas

En la práctica

Un equipo que entrena una política de manipulación sobre mesa a partir de demostraciones podría usar una red equivariante a las rotaciones en el plano, de modo que una demostración grabada con una taza orientada en un sentido también enseñe a la política qué hacer cuando la taza está orientada en otro. Primero comprueba qué simetrías tiene realmente la tarea, por ejemplo si la pinza o el montaje de la cámara rompen la simetría rotacional, después elige una biblioteca equivariante y la compara con una red estándar entrenada con aumento de datos por rotación como referencia.

Ideas erróneas comunes

• Equivarianza e invarianza son lo mismo — una salida invariante permanece fija ante una transformación, mientras que una salida equivariante se transforma junto con la entrada
• El aumento de datos da el mismo resultado — el aumento favorece una simetría de forma aproximada, mientras que una arquitectura equivariante la impone exactamente
• Más simetría siempre es mejor — imponer una simetría que la tarea no tiene, como la rotación 3D completa bajo la gravedad, obliga al modelo a equivocarse

Quién debería saberlo

• Investigadores en aprendizaje de robots que trabajan en políticas de manipulación
• Ingenieros de percepción que trabajan con nubes de puntos y estimación de pose
• Ingenieros de aprendizaje automático que diseñan arquitecturas de red para robótica

Tecnologías relacionadas

• CNN equivariantes de grupo (Group-Equivariant CNNs)
• CNN orientables (Steerable CNNs)
• Vector Neurons
• Aumento de datos (Data Augmentation)
• Diffusion Policy
• Grupos de Lie (SE(3))

Términos relacionados

• Diffusion Policy
• Imitation Learning
• Transform

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design

Vídeos

• Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr