OAT: Ordered Action Tokenization

저자: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du · RSS 2026

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

OAT는 행동 청크를 순서가 있는 8개의 토큰으로 압축하며, 어떤 접두사든 유효한 청크로 디코딩된다. 이를 사용하는 자기회귀 정책은 binning, FAST, QueST, 확산 정책을 능가한다.

중요한 이유

어떤 토큰 접두사든 실행 가능한 청크로 디코딩되므로, 학습된 정책 하나가 실행 시점에 속도와 정밀도 사이의 트레이드오프를 제공한다. LIBERO에서 NVIDIA A100 기준 추론 1회당 토큰 1개 디코딩은 10.5 ms, 토큰 8개는 27.4 ms가 걸리며, binning은 517.2 ms이다. 어블레이션은 또한 압축만이 아니라 토큰 순서가 정책 성공을 좌우함을 보여 주며, 이는 토큰 기반 로봇 정책을 만드는 누구에게나 구체적인 설계 규칙이 된다.

문제

자기회귀 로봇 정책은 연속 행동을 이산 토큰으로 바꿔야 한다. 차원별 binning은 청크당 수백 개의 토큰을 만들고, FAST(DCT와 바이트 쌍 인코딩)는 유효한 행동 청크로 디코딩되지 않는 토큰 시퀀스를 생성할 수 있으며, QueST 같은 학습된 잠재 토크나이저는 압축적이지만 순서가 없는 토큰을 주어 다음 토큰 예측에 잘 맞지 않는다. 저자들은 기존 어떤 방식도 높은 압축률, 완전한 디코딩 가능성, 왼쪽에서 오른쪽으로의 인과적 순서를 모두 제공하지 못한다고 주장한다.

제안 방법

OAT는 오토인코더이다. 트랜스포머 인코더가 학습 가능한 레지스터 토큰과 함께 행동 청크를 읽고, 유한 스칼라 양자화(FSQ)가 레지스터를 이산화하며, 트랜스포머 디코더가 청크를 재구성한다. 레지스터 간 인과적 어텐션과 중첩 드롭아웃(학습 중 앞쪽 토큰 중 무작위 개수만 유지)은 앞쪽 토큰이 대략적인 움직임을 담고 뒤쪽 토큰이 세부를 더하게 만든다. 그러면 나머지 위치를 학습된 마스크 토큰으로 채운 뒤 어떤 접두사든 디코딩할 수 있다.

핵심 통찰

• 재구성 오차는 정책 성공을 예측하지 못한다. Bin과 FAST는 행동을 잘 재구성하지만 가장 약한 자기회귀 정책을 낳는다.
• 순서가 핵심 요소이다. 중첩 드롭아웃(nested dropout) 없이 학습한 같은 토크나이저(OAT×)는 LIBERO에서 성공률이 56.3%에서 35.2%로 떨어지며, 일부 경우 QueST보다도 낮다.
• 디코더는 모든 토큰 시퀀스를 받아들여야 한다. FAST의 바이트 쌍 인코딩은 행동 청크와 맞지 않는 계수 개수를 내보낼 수 있으며, 이는 행동으로 재구성할 수 없다.
• 코드북이 클수록 좋은 것은 아니다. 성능은 중간 크기에서 포화되고 가장 큰 FSQ 코드북에서 떨어지며, 저자는 이를 다음 토큰 예측이 더 어려워진 탓으로 본다.
• 앞쪽 토큰은 전체적인 움직임을, 뒤쪽 토큰은 미세한 보정을 담는다. 실제 로봇에서 토큰 4개 미만의 OAT는 목표 가까이 가는 경우가 많았지만 정밀한 삽입은 놓쳤다.

주요 결과

• LIBERO(libero10): OAT8은 56.3%의 성공률로 QueST 48.2%, 확산 정책 36.6%, FAST 23.0%, Bin 14.4%와 대비된다(작업당 5 시드 × 50 롤아웃).
• RoboMimic: OAT8 73.1% 대 확산 정책 67.1%, QueST 66.9%. MetaWorld: OAT8 24.4% 대 19.3%, 17.9%. RoboCasa: OAT8 54.6% 대 54.0%, 52.3%.
• 디코딩한 토큰 수에 따라 성공률이 오른다. 예: LIBERO에서 11.7%(토큰 1개), 39.8%(2개), 46.4%(4개), 56.3%(8개).
• NVIDIA A100 한 대에서의 추론 1회당 지연 시간(LIBERO): 토큰 1개 10.5 ms, 8개 27.4 ms로, Bin(토큰 224개) 517.2 ms, FAST(평균 토큰 44.2개) 114.4 ms와 대비된다.
• 실제 ARX-5 팔, 작업당 20회 시행: OAT8은 Pick & Place Ball에서 16/20, Stack Cups에서 16/20 성공하여, 확산 정책 14/20과 11/20, QueST 11/20과 8/20과 대비된다.
• 중첩 드롭아웃을 제거하면(OAT×) 네 벤치마크 모두에서 성공률이 낮아진다. 예: RoboMimic에서 73.1%에서 61.1%로.

한계

• 디코딩할 토큰 수는 배포 시점에 고정된다. 저자는 이것이 각 청크의 복잡도에 따라 달라져야 한다고 지적하며, 이를 온라인으로 추정하는 것은 미해결 문제로 남겨 둔다.
• 짧은 접두사는 정밀도를 속도와 맞바꾼다. 토큰 4개 미만일 때 실제 로봇은 공을 컵 안에 완전히 넣는 것과 같은 정밀한 삽입에 자주 실패했다.
• 코드북 크기는 튜닝이 필요하다. LIBERO에서 재구성은 더 좋았음에도 성공률이 FSQ 레벨 [8,5,5,5]의 56.3%에서 [7,5,5,5,5]의 46.9%로 떨어졌다.
• 실제 환경 검증은 웹캠 하나를 쓰는 고정 베이스 팔 하나에서의 탁상 작업 두 가지로, 작업당 시연 200개와 시행 20회를 사용한다.
• 일부 벤치마크에서는 절대 성공률이 낮게 유지되며(MetaWorld 최고 결과 24.4%), RoboCasa에서 OAT8(54.6 ± 1.1%)은 확산 정책(54.0 ± 1.6%)과 비슷하다.

분야에 미친 영향

RSS 2026 Outstanding Paper Award 최종 후보이며, 피인용 27회이다. 논문은 대화형 재구성을 담은 프로젝트 웹사이트(ordered-action-tokenization.github.io)를 링크하지만, 코드 공개에 대해서는 밝히지 않는다.

초록

자기회귀 정책은 이산적 추상화, 토큰 수준 추론, 유연한 추론을 가능하게 함으로써 확장 가능한 로봇 학습을 위한 설득력 있는 기반을 제공한다. 그러나 연속적인 로봇 행동에 자기회귀 모델링을 적용하려면 효과적인 행동 토큰화 방식이 필요하다. 기존 접근 방식은 지나치게 긴 토큰 시퀀스를 만드는 해석적 이산화 방법에 의존하거나, 구조가 없어 다음 토큰 예측과의 호환성이 제한되는 학습된 잠재 토크나이저에 의존한다. 본 연구에서 우리는 행동 토큰화를 위한 세 가지 요건, 즉 높은 압축률, 완전한 디코딩 가능성, 왼쪽에서 오른쪽으로 인과적으로 정렬된 토큰 공간을 식별하고, 세 가지를 모두 충족하는 학습된 행동 토크나이저인 Ordered Action Tokenization(OAT)을 소개한다. OAT는 레지스터를 갖춘 트랜스포머, 유한 스칼라 양자화, 그리고 순서를 유도하는 학습 메커니즘을 사용하여 행동 청크를 순서가 있는 토큰 시퀀스로 이산화한다. 그 결과로 얻은 토큰 공간은 자기회귀 생성과 자연스럽게 맞물리며 접두사 기반 디토큰화를 가능하게 하여, 추론 비용과 행동 충실도 사이의 애니타임(anytime) 트레이드오프를 제공한다. 네 가지 시뮬레이션 벤치마크와 실제 환경에 걸친 20개 이상의 작업에서, OAT를 갖춘 자기회귀 정책은 기존 토큰화 방식과 확산 기반 베이스라인을 일관되게 능가하면서 추론 시점에 훨씬 더 큰 유연성을 제공한다.

링크

• arXiv 2602.04215: https://arxiv.org/abs/2602.04215
• DOI 10.48550/arXiv.2602.04215: https://doi.org/10.48550/arXiv.2602.04215
• PDF: https://arxiv.org/pdf/2602.04215v1
• 프로젝트 페이지: https://ordered-action-tokenization.github.io/