LocoFormer: Generalist Locomotion via Long-context Adaptation

저자: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

LocoFormer는 약 100k개의 절차적으로 생성된 로봇에서 RL로 하나의 긴 컨텍스트 Transformer-XL 정책을 학습한다. 이 정책은 처음 보는 로봇을 제로샷으로 제어하고 시행을 거듭하며 개선된다.

중요한 이유

컨텍스트 내에서 적응하는 단일 모델은 로봇별 튜닝과 시스템 식별을 없애고, 손상된 로봇이 계속 움직이게 할 수 있다. 실제 테스트에서 동일한 가중치가 재학습 없이 Unitree G1, H1, Go2, Go2-W를 구동했으며, 여기에는 Go2가 두 뒷다리로 걷는 경우도 포함된다.

문제

보행 제어기는 대개 좁은 도메인 무작위화와 수백 밀리초 분량의 이력만으로 한 로봇을 위해 학습된다. 이러한 정책은 새로운 몸체로 전이되지 않고, 모터 소손이나 다리 파손 같은 큰 변화에서 실패하며, 로봇마다 공들인 시스템 식별이 필요한 경우가 많다.

제안 방법

저자들은 바퀴가 있거나 없는 이족 및 사족 로봇을 절차적으로 생성하고, 그 기구학과 동역학을 공격적으로 무작위화하며, 관측과 행동에 통합 관절 공간을 사용해 시뮬레이션에서 PPO로 학습한다. 정책은 Transformer-XL로, 세그먼트 수준의 순환 구조가 메모리를 시행 경계를 넘어 최대 896 스텝(50 Hz에서 약 18초)까지 확장하며, 보상은 한 에피소드 내 여러 시행에 걸쳐 최대화된다. KV 캐시(KV-cache)가 추론 비용을 시간에 대해 선형으로 유지한다.

핵심 통찰

• 넓은 작업 분포에는 긴 컨텍스트가 필요하다. 짧은 이력만 쓰는 정책은 적응할 만큼 로봇을 충분히 식별하지 못한다.
• 에피소드 경계를 넘는 메모리는 정책이 이전의 넘어짐으로부터 학습하여 이후 시행에서 더 잘하게 한다.
• 서로 다른 휴머노이드 변형의 내부 표현은 처음에는 비슷하다가, 명시적인 형태 입력 없이도 약 5초 안에 뚜렷한 군집으로 분리된다.
• 아키텍처가 중요하다. 같은 방식으로 학습한 GRU 정책은 평균 0.37인 반면, Transformer-XL 정책은 제로샷으로 0.96이다.
• 학습에는 전문 정책 하나의 500배에 달하는 연산이 들었지만 100,000개의 로봇을 다루었으며, 이는 로봇당 약 0.005일로 전문 정책의 1일과 대비된다.

주요 결과

• 시뮬레이션에서 처음 보는 로봇 10종(각 1,000개 환경)에 대해, 목표 방향 정규화 변위는 제로샷 평균 0.96, 5초 적응 후 0.98로, 로봇별 전문 정책 0.99, 형태 조건부 트랜스포머 0.78, GRU 0.37과 대비된다.
• 발목 관절이 없는 이족 로봇인 LimX Dynamics TRON1에서 5초 적응으로 점수가 0.87에서 0.96으로 올랐다.
• Unitree G1, H1, Go2, Go2-W에 실제 로봇 제로샷 배포를 수행했으며, Go2와 Go2-W는 뒷다리로 서는 이족 보행으로도 실행했다.
• Go2의 무릎 하나를 잠그자 정책은 체중을 세 다리로 옮겨 2–3초 후 걸었고, 아랫다리를 잘라 내자 7–8초 후 무릎으로 걸었다. 두 경우 모두 학습에 포함되지 않았다.
• Go2-W에서 소프트웨어로 바퀴를 잠그면 정책이 보행 걸음새로 전환하고, 잠금을 풀면 다시 구르기로 돌아온다.
• 도메인 무작위화를 학습 범위의 두 배로 넓혔을 때, 6초 롤아웃에서의 생존율은 네 가지 형태 유형 모두에서 적응 시간이 길수록 향상된다.

한계

• 학습은 전문 정책에 비해 자원 소모가 매우 크다. 저자는 대규모 병렬 RL의 알고리즘 개선이 가능할 수 있다고 언급한다.
• 절차적으로 생성된 작업 공간은 수작업으로 설계된 것이며 일반적으로 설계하기 어려울 수 있다. 저자는 LLM이나 기타 웹 규모 소스로부터의 자동 작업 생성을 제안한다.
• 절차적 생성은 모든 실제 설계를 포괄하지 못한다. 예: 고관절 롤과 요 관절 모두에 하반각(anhedral angle)이 있는 Berkeley Humanoid, 또는 관절 축이 x축을 따라 오프셋된 G1.
• 매우 불안정한 구성에서는 첫 시행이 실패할 수 있다. 발목 모터 없이 이족으로 실행했을 때 로봇은 첫 시행에서 넘어졌고 세 번째 시행에 이르러서야 안정적으로 걸었다.
• 보행만 시연되었다. 이 방법을 다른 스킬로 확장하는 것은 제안되었으나 시험되지 않았다.

분야에 미친 영향

CoRL 2025 Best Paper 및 Best Student Paper 상 최종 후보이며, 피인용 39회이다. 논문은 generalist-locomotion.github.io의 영상을 링크하지만, 코드나 모델 공개에 대해서는 밝히지 않는다.

초록

현대의 보행(locomotion) 제어기는 특정 로봇 형태에 맞게 수작업으로 튜닝된다. 우리는 LocoFormer를 제시한다. 이는 이전에 본 적 없는 다리형 및 바퀴형 로봇을, 그 기구학에 대한 정확한 지식 없이도 제어할 수 있는 범용 전신체(omni-bodied) 보행 모델이다. LocoFormer는 테스트 시점에 형태와 동역학의 변화에 적응할 수 있다. 우리는 두 가지 핵심 선택이 적응을 가능하게 한다는 것을 발견했다. 첫째, 공격적인 도메인 무작위화와 함께 절차적으로 생성된 로봇에 대해 대규모 RL을 학습한다. 둘째, 짧은 컨텍스트 길이로 근시안적인 기존 정책과 달리, 컨텍스트를 몇 자릿수(orders of magnitude) 확장하여 에피소드 경계를 넘나들게 한다. 우리는 동일한 LocoFormer를 다양한 로봇에 배포하여 무게 변화나 모터 고장 같은 큰 외란에도 강건한 제어를 보여 준다. 극단적인 시나리오에서 우리는 에피소드 간 창발적 적응을 관찰한다. LocoFormer는 초기 에피소드의 넘어짐으로부터 학습하여 이후 에피소드에서 제어 전략을 개선한다. 우리는 이 단순하면서도 범용적인 방법이 향후 다른 로봇 스킬을 위한 파운데이션 모델을 학습하는 데 사용될 수 있다고 믿는다. 영상: http://generalist-locomotion.github.io.

링크

• arXiv 2509.23745: https://arxiv.org/abs/2509.23745
• DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
• PDF: https://arxiv.org/pdf/2509.23745v1
• 프로젝트 페이지: https://generalist-locomotion.github.io/