Equivariance

• 다른 이름: equivariant networks, symmetry-aware learning, group equivariance
• 카테고리: Learning & autonomy › Learning from demonstration
• 태그: geometric-deep-learning, symmetry, robot-learning, sample-efficiency, manipulation

입력이 변환될 때 출력이 예측 가능하게 변환되는 함수나 신경망의 성질로, 예를 들어 장면이 회전하면 함께 회전하는 파지 예측이 그렇다.

정의

등변성(equivariance)은 입력이 변환될 때 출력이 그에 맞춰 예측 가능한 방식으로 바뀌는 함수의 성질을 말한다. 형식적으로, 함수 f가 어떤 변환군에 대해 등변이라는 것은 함수를 적용하기 전에 변환 g를 적용한 결과가 함수를 적용한 뒤에 대응하는 변환을 적용한 결과와 같다는 뜻이다: f(g·x) = g·f(x). 불변성(invariance)은 출력이 전혀 바뀌지 않는 특수한 경우이다: f(g·x) = f(x).

로보틱스에는 이런 대칭이 가득하다. 테이블 위의 장면이 회전하면 올바른 파지도 함께 회전해야 하고, 물체가 이동하면 그것을 집는 데 필요한 동작도 함께 이동해야 한다. 관련된 변환군은 보통 평면에서의 회전과 병진(SO(2), SE(2)) 또는 3차원에서의 회전과 병진(SO(3), SE(3))이다. 일반적인 합성곱 신경망은 이미 이미지 병진에 대해 등변이며, 이것이 비전에서 잘 작동하는 이유 중 하나이다. 등변 신경망은 이를 회전과 다른 변환으로 확장한다.

등변 아키텍처는 신경망이 데이터에서 대칭을 배우기를 기대하는 대신 대칭을 신경망의 층에 직접 넣는다. 군 등변 합성곱 신경망, 조향 가능 합성곱(steerable convolution), 벡터 뉴런(vector neurons) 같은 포인트 클라우드 방법이 그 예이다. 신경망에 모든 방향에 대한 별도의 예시가 필요하지 않으므로, 등변 모델은 더 적은 시연으로 학습하고 훈련에서 본 적 없는 자세로 일반화할 수 있다.

주된 설계 질문은 실제로 어떤 대칭이 성립하느냐이다. 중력과 테이블 표면은 완전한 3D 회전 대칭을 깨뜨리므로, 많은 매니퓰레이션 시스템은 수직축에 대한 회전만 사용한다. 작업에 없는 대칭을 고르면 모델이 틀린 답을 내도록 강제되고, 실제로 성립하는 대칭을 무시하면 데이터가 낭비된다.

중요한 이유

로봇 데이터는 수집 비용이 크며, 등변성은 같은 양의 데이터에서 더 많은 일반화를 얻는 가장 직접적인 방법 중 하나이다. 등변성 덕분에 몇 가지 물체 자세로 훈련한 정책이 같은 장면을 회전하거나 옮긴 경우에도 합리적으로 행동할 수 있다.

주요 응용

• 이미지나 포인트 클라우드로부터의 파지 및 집어 놓기(pick-and-place) 예측
• 적은 수의 시연으로부터의 샘플 효율적인 정책 학습
• 자세 추정과 객체 중심 인식
• 부품 방향이 달라지는 조립 및 배치 작업

실제 사례

시연으로 테이블 위 매니퓰레이션 정책을 훈련하는 팀은 평면 회전에 등변인 신경망을 쓸 수 있다. 그러면 머그잔이 한 방향을 향한 상태로 녹화한 시연이 머그잔이 다른 방향을 향할 때 무엇을 해야 하는지도 정책에 가르쳐 준다. 팀은 먼저 작업에 실제로 어떤 대칭이 있는지, 예를 들어 그리퍼나 카메라 장착 방식이 회전 대칭을 깨뜨리는지 확인한 다음, 등변 라이브러리를 고르고 회전 데이터 증강으로 훈련한 표준 신경망을 기준선으로 삼아 비교한다.

흔한 오해

• 등변성과 불변성은 같다 — 불변 출력은 변환에도 고정된 채로 남고, 등변 출력은 입력과 함께 변환된다
• 데이터 증강도 같은 결과를 준다 — 증강은 대칭을 근사적으로 유도할 뿐이고, 등변 아키텍처는 이를 정확히 강제한다
• 대칭은 많을수록 항상 좋다 — 중력 아래에서의 완전한 3D 회전처럼 작업에 없는 대칭을 강제하면 모델이 틀릴 수밖에 없다

알아야 할 사람

• 매니퓰레이션 정책을 연구하는 로봇 학습 연구자
• 포인트 클라우드와 자세 추정을 다루는 인식 엔지니어
• 로보틱스용 신경망 아키텍처를 설계하는 머신러닝 엔지니어

관련 기술

• 군 등변 CNN(Group-Equivariant CNNs)
• 조향 가능 CNN(Steerable CNNs)
• 벡터 뉴런(Vector Neurons)
• 데이터 증강(Data Augmentation)
• Diffusion Policy
• 리 군(Lie Groups, SE(3))

관련 용어

• Diffusion Policy
• Imitation Learning
• Transform

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design

동영상

• Equivariant Neural Networks | Part 1/3 - Introduction: DeepFindr