Action Chunking

• 다른 이름: action chunks, chunked action prediction, action sequence prediction
• 카테고리: Learning & autonomy › Learning from demonstration
• 태그: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

로봇이 한 스텝마다 하나의 행동을 예측하는 대신, 짧은 미래 행동 시퀀스를 한 번에 예측하고 그중 여러 개를 실행한 뒤에 정책에 다시 질의하는 정책 설계.

정의

행동 청킹(action chunking)은 로봇 학습에서 정책이 현재 타임스텝에 대한 단일 행동 대신, 하나의 관측으로부터 연속된 미래 행동의 블록, 즉 청크(chunk)를 출력하는 기법이다. 로봇은 그 청크의 일부 또는 전부를 실행한 뒤 정책에 다시 질의한다. 이 아이디어는 2023년 Zhao, Kumar, Levine, Finn이 ALOHA 양팔 원격 조작 시스템과 함께 발표한 ACT(Action Chunking with Transformers) 정책을 통해 로봇 모방 학습에서 널리 주목받게 되었다.

주된 동기는 오차 누적이다. 행동 복제로 학습되어 한 번에 하나의 행동을 예측하는 정책은 시연된 상태에서 조금씩 벗어날 수 있으며, 작은 실수 하나하나가 정책을 학습 데이터가 다루지 않은 상황으로 더 멀리 밀어낸다. 청크를 예측하면 작업의 실질적인 지평이 짧아진다. 많은 제어 스텝이 더 적은 수의 청크 단위 결정으로 바뀌므로 오차가 누적될 기회가 줄어든다.

청킹은 종종 비마르코프적인 인간 시연을 다루는 데에도 도움이 된다. 조작자는 멈추거나 머뭇거리거나, 카메라가 지금 보여 주는 것뿐 아니라 직전에 한 행동에 따라 달라지는 습관을 따른다. 일관된 다단계 구간을 출력하는 모델은 각 스텝을 따로 결정해야 하는 모델보다 이러한 시간적으로 상관된 패턴을 더 충실하게 재현할 수 있다.

부드러움과 반응성 사이에는 트레이드오프가 있다. 청크 전체를 실행하는 로봇은 청크가 끝날 때까지 새로운 관측에 반응할 수 없으며, 이는 물체가 움직이거나 접촉이 불확실할 때 문제가 된다. 흔한 해결책으로는 확산 정책이 보통 후퇴 지평(receding-horizon) 루프에서 하듯 각 청크의 앞부분만 실행하고 다시 예측하는 방법, 그리고 연속된 청크에서 같은 타임스텝에 대해 겹치는 예측들을 가중 평균하는 시간적 앙상블(temporal ensembling)이 있다. 청크 길이는 제어 주기와 작업 동역학에 따라 달라지는 튜닝 파라미터다.

행동 청킹은 이제 트랜스포머 정책, 확산 정책, 비전-언어-행동 모델 등 여러 정책 계열에 등장하며, 예를 들어 연속적인 행동 시퀀스를 이산 토큰으로 변환할 때처럼 행동을 표현하는 방식과도 상호작용한다.

중요한 이유

행동 청킹은 적은 수의 인간 시연으로부터의 모방 학습이 정밀한 조작 작업에서 안정적으로 작동하게 만든 설계 선택 중 하나다. 오차 누적을 줄이고 더 부드러운 동작을 만들어 내며, 이제 많은 시각운동(visuomotor) 정책과 로봇 파운데이션 모델의 기본 구성 요소가 되었다.

주요 응용

• 양팔 조작 — 원격 조작 시연으로부터 정밀한 양팔 작업을 학습
• 시각운동 정책 — 카메라 이미지와 관절 상태로부터 부드러운 행동 시퀀스를 예측
• 확산 정책 — 후퇴 지평 루프에서 실행되는 다단계 행동 시퀀스를 생성
• 비전-언어-행동 모델 — 언어 지시와 이미지로부터 행동 구간을 출력
• 행동 토큰화 — 트랜스포머 기반 정책을 위해 행동 시퀀스를 이산 토큰으로 압축

실제 사례

원격 조작 시연으로부터 조작 정책을 학습시키는 팀은 보통 고정된 제어 주기로 관절 위치나 엔드 이펙터 자세를 기록한 뒤, 현재 카메라 이미지와 관절 상태로부터 다음 여러 개의 행동을 예측하도록 정책을 학습시킨다. 배치 시에는 컨트롤러가 정책을 실행하고, 예측된 청크의 일부를 실행한 뒤 다시 정책을 호출하는데, 청크 경계에서 덜컥거림을 피하기 위해 겹치는 예측들을 섞는 경우가 많다. 엔지니어는 두 가지 실패 양상을 지켜보며 청크 길이와 질의당 실행하는 행동 수를 튜닝한다. 청크가 너무 짧으면 떨리거나 머뭇거리는 동작이 나타나고, 너무 길면 외란에 대한 반응이 느려진다.

흔한 오해

• 행동 청킹은 로봇을 개루프로 운용한다는 뜻이다 — 대부분의 구현은 청크가 끝나기 전에 정책에 다시 질의하므로, 시스템은 청크 수준에서 폐루프로 유지된다
• 청크는 길수록 항상 좋다 — 긴 청크는 오차 누적을 줄이지만 로봇이 외란과 움직이는 물체에 더 느리게 반응하게 만든다
• 행동 청킹은 ACT에만 해당한다 — 같은 아이디어가 확산 정책, 토큰 기반 자기회귀 정책, 그리고 많은 비전-언어-행동 모델에서 쓰인다

알아야 할 사람

• 시연으로부터 정책을 학습시키는 로봇 학습 연구자
• 로봇 암에 시각운동 정책을 배치하는 엔지니어
• 원격 조작 데이터 수집 파이프라인을 구축하는 팀
• 모방 학습 방법을 배우는 학생

관련 기술

• Action Chunking with Transformers (ACT)
• Diffusion Policy
• 행동 복제(Behavior Cloning)
• 비전-언어-행동 모델(Vision-Language-Action Models)
• 시간적 앙상블(Temporal Ensembling)
• ALOHA

관련 용어

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

동영상

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics