Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

A Generalist Agent

저자: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022

라이선스

  • 오픈 액세스
  • 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

Gato는 텍스트, 이미지, 고유 감각, 행동을 하나의 토큰 시퀀스로 변환하고, 실제 Sawyer 암을 이용한 블록 쌓기를 포함한 604개 작업으로 1.2B 파라미터 트랜스포머 하나를 학습시킵니다.

중요한 이유

이 논문은 하나의 가중치 세트를 가진 하나의 네트워크가 Atari를 플레이하고, 이미지에 캡션을 달고, 채팅하고, 실제 로봇 암으로 블록을 쌓을 수 있음을 보여줍니다. 로봇 공학 미세 조정 실험은 이러한 범용 모델이 적은 데이터로 새로운 작업에 적응하는지를 검증합니다. 처음 보는 블록 형태에서 미세 조정된 모델은 10개 에피소드로 전문가의 성공률을 회복합니다.

문제

제어 정책은 보통 수작업으로 설계한 귀납적 편향을 바탕으로 도메인별로 구축되며, 멀티태스크 에이전트조차 일반적으로 작업마다 별도의 파라미터를 유지합니다. 로봇 데이터는 부족하고 다루는 임바디먼트도 적어서, 하드웨어가 바뀔 때마다 새 데이터를 수집하고 다시 학습해야 합니다.

제안 방법

모든 데이터는 평탄한 토큰 시퀀스로 직렬화됩니다. SentencePiece 텍스트 토큰, ResNet 블록으로 임베딩한 16×16 이미지 패치, 그리고 mu-law 인코딩 후 1024개 구간으로 이산화한 연속값입니다. 1.2B 파라미터 디코더 전용 트랜스포머(24개 레이어, 임베딩 크기 2048)를 다음 토큰 예측 지도 학습으로 오프라인 학습하며, 손실은 텍스트와 행동 토큰에만 적용되도록 마스킹합니다. 작업은 작업 식별자 대신 해당 작업의 시연을 모델에 프롬프트로 제공하여 선택합니다.

핵심 통찰

  • 79M, 364M, 1.18B 파라미터 전반에서, 처리한 토큰 수가 같을 때 분포 내 성능은 모델 크기가 커질수록 향상됩니다.
  • 보류된 cartpole.swingup과 assembly-v2에 대한 퓨샷 미세 조정에서는 모든 데이터로 사전 학습한 경우가 가장 좋았습니다. 이미지와 텍스트 데이터로만 사전 학습한 경우 이러한 비이미지 작업에서 이점이 없거나 부정적 전이가 나타났습니다.
  • 전이는 보편적이지 않습니다. 보류된 Atari boxing에서는 무작위로 초기화한 모델이 모든 사전 학습 변형을 앞섰으며, 저자들은 이를 Atari 이미지가 다른 데이터와 시각적으로 뚜렷이 다르기 때문이라고 봅니다.
  • 모델 크기는 실제 로봇의 실시간 제어가 가능한 규모로 제한되었습니다. 20 Hz 루프에 맞추기 위해 로봇 행동은 맥락 길이 1로 한 번의 추론 단계에서 샘플링되었습니다.
  • 성공한 시연을 조건으로 주는 방식이 작업 식별자를 대체하며, 저자들은 이것이 작업들이 관측 및 행동 명세를 공유할 때 '자기기만'을 일으키는 교란 요인을 차단한다고 주장합니다.

주요 결과

  • 하나의 가중치 세트가 604개 작업 중 450개 이상에서 전문가 점수의 50%를 넘는 점수를 냅니다.
  • 실제 Sawyer RGB Stacking, Skill Generalization(보류된 형태 3종 조합 5개, 각 200 에피소드): 평균 성공률 50.2%, 단일 작업 BC-IMP 기준선은 49%.
  • 실제 로봇 Skill Mastery: 평균 성공률 75.6%, BC-IMP는 74.6%.
  • 새로운 실제 로봇 작업 'stack blue on green'을 500개 시연(2시간 45분)으로 미세 조정: 성공률 60%, 처음부터 학습한 행동 복제 기준선은 0.5%(1/200).
  • 실제 및 시뮬레이션 Skill Generalization에 대한 로봇 미세 조정: 10개 에피소드로 전문가와 대등해지고, 100개 또는 1000개 에피소드에서는 전문가를 넘어섭니다.
  • Atari: 23개 게임에서 평균 인간 점수 이상, 11개 게임에서 인간 점수의 두 배 초과; Meta-World: 45개 작업 중 44개에서 50% 초과; BabyAI BossLevel: 75%.

한계

  • 맥락은 1024개 토큰으로 제한됩니다. 이미지 관측 하나가 각각 100개가 넘는 토큰을 차지할 수 있어 에이전트는 몇 개의 타임스텝만 볼 수 있으며, 새로운 환경에서 프롬프트 기반 인컨텍스트 학습은 프롬프트 없는 평가보다 유의미한 향상을 보이지 않았습니다.
  • 제어를 위한 웹 규모 데이터셋은 존재하지 않습니다. Gato는 전문 RL 에이전트가 생성한 데이터로 모방을 통해 학습되며, 저자들은 적합한 데이터 확보를 미해결 연구 과제라고 말합니다.
  • 실제 로봇에서 NVIDIA GeForce RTX 3090으로 실행한 1.18B 모델은 맥락 길이 1에서도 20 Hz 제어 주기를 약 0.01초 초과했습니다.
  • Atari 데이터를 생성한 단일 작업 RL 에이전트는 여전히 Gato보다 성능이 높으며, Gato의 채팅 응답은 피상적이거나 사실과 다른 경우가 많습니다.
  • 모델 카드에는 상업용 또는 프로덕션 용도로 의도되지 않았으며, 시각 및 언어 데이터에서 비롯된 편향은 성적으로 노골적인 콘텐츠를 필터링한 것 외에는 완화되지 않았다고 명시되어 있습니다.

분야에 미친 영향

TMLR(2022년 11월)에 Featured 및 Outstanding 인증을 받아 게재되었으며, ICLR 2024 Journal Track에 등재되었습니다. Semantic Scholar 기준 인용 수는 1,203회입니다(2026년 11월 14일). 논문에는 모델 카드(부록 A)가 포함되어 있으며, 코드나 모델 가중치 링크는 제공하지 않습니다.

초록

대규모 언어 모델링의 발전에 영감을 받아, 우리는 텍스트 출력의 영역을 넘어서는 단일 범용 에이전트를 구축하는 데 유사한 접근 방식을 적용합니다. Gato라고 부르는 이 에이전트는 멀티모달, 멀티태스크, 멀티 임바디먼트 범용 정책으로 작동합니다. 동일한 가중치를 가진 동일한 네트워크가 Atari를 플레이하고, 이미지에 캡션을 달고, 채팅하고, 실제 로봇 암으로 블록을 쌓는 등 훨씬 더 많은 일을 할 수 있으며, 맥락에 따라 텍스트, 관절 토크, 버튼 입력 또는 기타 토큰 중 무엇을 출력할지 결정합니다. 이 보고서에서는 모델과 데이터를 설명하고 Gato의 현재 역량을 기록합니다.

링크

  • arXiv 2205.06175: https://arxiv.org/abs/2205.06175
  • PDF: https://arxiv.org/pdf/2205.06175v3

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.