Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

저자: Xin Ding, Liang Mi, Mingzhe Huang, Zixuan Wang, Chao Zhang, Zixu Hao, Fu Chen, Xiangyu Li, Yikai Zheng, Yaoyu Guo, Weijun Wang, Kun Li, Hao Wu, Yunxin Liu, Ting Cao · arXiv 2026

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

고정된 VLA를 코드 기반 크리틱과 복구 기술로 감싸고, 에이전트가 실패한 시뮬레이션 롤아웃으로부터 이를 진단, 수리, 검증하여 RoboCasa 성공률을 73.6%에서 93.6%로 높인다.

중요한 이유

가중치를 재학습하지 않고 사전 학습된 조작 정책의 신뢰성을 높이는 방법을 보여 준다. 파지 상실이나 운반 정체 같은 물리적 실패 상태를 코드로 감지하고 표적 복구를 실행하는 것이다. 학습된 크리틱-복구 쌍은 물체 상대 기하와 접촉 술어로 정의되므로 관련 과제로 이어지며, 논문은 롤아웃 처리량을 그 개선의 속도 한계로 본다.

문제

VLA와 월드-액션 정책은 추론 시 개루프로 실행되므로, 미끄러짐이나 작은 충돌이 과제 실패로 번질 수 있다. 언어 모델 에이전트 하네스는 대형 모델이 행동 주파수로 결정할 수 없기 때문에 에피소드가 끝난 뒤에야 성찰하며, 사후 성찰로는 대안을 시험하거나 정확한 실패 상태를 볼 수 없다. 자기 탐색으로부터의 학습은 롤아웃을 얼마나 빨리 생성할 수 있는지에 의해서도 제한된다.

제안 방법

기반 정책(π0.5 또는 GR00T N1.5)과 오케스트레이터 에이전트는 고정된 채, 코드 기반 런타임 크리틱, 복구 플레이북, 도구로 이루어진 하네스가 진화한다. 크리틱은 행동 주파수로 실행되며 오케스트레이터가 승인하는 개입을 제안한다. 오프라인 에이전트는 실패한 롤아웃을 처음 놓친 마일스톤과 성공한 실행에서 가장 먼저 갈라진 지점으로 군집화하고, 평가 로직부터 제어 파라미터까지 위에서 아래로 근본 원인을 진단하며, 제어권을 되돌려주는 재진입 계약을 포함한 최소한의 패치를 작성하고, 그 패치가 군집 내 모든 시드를 고치고 보류 시드에서도 유지될 때에만 채택한다. Ray 위에 구축된 Z-Infra는 배치 추론, VLM/액션 전문가 분할, 선택적 양자화를 통해 환경 워커와 GPU 모델 워커를 분리한다.

핵심 통찰

• 코드 기반 크리틱은 행동 주파수로 실행을 감시할 수 있으므로, 느린 언어 모델 에이전트에게는 개입 승인과 오프라인 진단만 맡긴다.
• 실패를 위에서 아래로(평가, 크리틱, 상태, 계획, 복구, 그다음 파라미터) 진단하고 결함을 고치는 가장 높은 계층에서 패치하면, 저수준 파라미터를 하나의 실패에 과적합하는 것을 피할 수 있다.
• 초기의 증상 위주 수정이 정체된 뒤 에이전트가 파지 유지나 접근 기하 같은 실제 물리적 병목을 찾아내면, 이득이 갑작스럽게 나타나는 경우가 많다.
• 물체 상대 기하와 일반적인 접촉 술어로 정의된 크리틱-복구 쌍은 관련 과제로 제로샷 전이된다.
• 모든 결정 지점에서 LLM을 호출하는 agent-in-the-loop 기준선은 느리다. 에이전트는 오프라인에서만 호출하고 크리틱은 온라인으로 실행하면 에피소드당 지연 시간이 줄어든다.

주요 결과

• GR00T N1.5를 고정 기반으로 한 RoboCasa Atomic-Seen 과제 18개: 매크로 평균 성공률이 네 번의 수리 라운드(78.71%, 84.85%, 90.54%, 93.56%)에 걸쳐 73.56%에서 93.56%로 올랐으며, 과제당 보류 시드 50개로 평가했다.
• π0.5를 고정 기반으로 한 LIBERO-Pro: Goal (T)는 31.0%에서 92.5%로, Goal (S)는 38.0%에서 89.0%로 올랐다. 초록의 90.8%는 이 두 Goal 설정의 평균이며, LIBERO-10을 포함한 Table 3의 전체 평균은 71.13%(32.00%에서 상승)이고, LIBERO-10 (T)는 50.0%에서 63.0%, (S)는 9.0%에서 40.0%이다.
• PnP-Stove에서 학습한 기술의 제로샷 전이: PnP-Sink 58%에서 82%, PnP-Cabinet 62%에서 80%, PnP-Toaster 72%에서 90%. TurnOffStove에서 얻은 기술은 관절형 과제 세 개의 평균을 64%에서 80%로 높였다.
• 갑작스러운 이득: Goal-T2(그릇 안의 와인병)는 초기 수정 뒤 10%에서 15%가 되었고, 파지 유지 크리틱이 추가되자 95%가 되었다. Goal-S6(크림치즈)는 5%에서 90%가 되었다.
• RPent 에이전트 기준선 대비 속도: 초록은 추론 속도 11.1배 향상(지연 시간 91% 감소)을 제시하고, Section 4.6은 에피소드당 지연 시간 11.9배 감소를, Fig. 14는 동시성 16에서 12.0배를 보여 준다.
• A100 GPU 8개에서의 Z-Infra 처리량: 동시성 16에서 분당 22.09 에피소드로, Z-Infra 없는 하네스(2.88)의 7.7배, RPent(1.72)의 12.8배이며, 동시성 64에서 분당 35.1 에피소드에 이른다. 서론의 20.6배 수치는 이 35.1을 RPent의 1.7과 비교한 것이다.

한계

• 모든 실험은 시뮬레이션(MuJoCo/robosuite 기반 LIBERO-Pro와 RoboCasa)이며, 저자들은 실제 로봇으로의 확장과 Sim-to-Real 격차를 향후 과제로 남긴다.
• 저자들은 결과가 현재의 롤아웃 예산에서 성립하며, 자기 진화는 성공률을 고정 정책의 능력 상한을 넘어서가 아니라 그 상한을 향해 확장한다고 밝힌다.
• 벤치마크 표는 고정된 기반 정책과만 비교한다. 유일한 체화 에이전트 기준선은 지연 시간과 처리량 비교에 쓰인 RPent이며, 논문은 오케스트레이터와 진화 에이전트를 구동하는 언어 모델이 무엇인지 밝히지 않는다.
• 대표 수치는 보고 방식에 따라 달라진다. LIBERO-Pro의 90.8%는 Goal 모음만 다루며, LIBERO-10을 포함한 LIBERO-Pro 전체 평균은 71.13%이다.
• 진단은 접촉력, 내부 상태, 공식 과제 술어 같은 시뮬레이터 내부 정보에 의존하며, 실제 배치에서는 이를 같은 형태로 얻지 못할 수 있다.

분야에 미친 영향

Hugging Face daily papers: 추천 140개, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%. 논문은 프로젝트 페이지를 제시하지만 코드 공개는 명시하지 않는다.

초록

체화 에이전트는 엔드투엔드 정책 모델이 남긴 격차를 메우는 데 점점 더 많이 쓰이고 있다. 그러나 에이전트 방식은 아직 물리적 실행에서 폐루프 학습을 실현하지 못했다. 기존 하네스는 대부분 개루프로 남아 있어, 롤아웃 동안 고정된 기술을 따르고 에피소드가 끝난 뒤에야 성찰한다. 이러한 사후 성찰은 실행이 진행되는 동안 이를 통제할 수 없다. 물리적 상호작용에서는 오늘날의 대형 에이전트 모델이 감당할 수 없는 빈도로, 빠르게 변하는 로봇-환경 상태를 추적하며 결정을 내려야 하기 때문이다. 우리는 기반 정책을 고정한 채 코드 기반 런타임 크리틱과 복구 기술을 온라인으로 진화시키는 폐루프 체화 하네스 Zetta를 제시한다. 시간 척도가 분리된 세 개의 루프를 통해 Zetta는 행동 주파수 수준의 통제, 롤아웃 수준의 크리틱-복구 제안, 검증을 거쳐야 하는 기술 업데이트를 제공한다. 에이전트 로직을 이질적인 실행 자원과 분리하는 롤아웃 인프라인 Z-Infra와 함께, Zetta는 현재의 롤아웃 예산에서 LIBERO-Pro와 RoboCasa에서 최첨단 성공률인 90.8%와 93.6%에 도달하며, 추론 속도는 11.1배 빨라진다. 성공률은 자기 탐색 경험과 함께 계속 확장되고, 학습된 기술은 제로샷으로 전이되며, 뚜렷한 로봇의 “아하 모먼트”가 나타난다. 이러한 결과는 폐루프 하네스 자기 진화가 신뢰할 수 있는 물리 지능을 향한 확장 경로를 연다는 것을 보여 준다.

링크

• arXiv 2608.16590: https://arxiv.org/abs/2608.16590
• PDF: https://arxiv.org/pdf/2608.16590v1
• 프로젝트 페이지: https://air-embodied-brain.github.io/zetta