Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Dexmal DM0.5

Dexmal의 오픈 VLA 로봇 모델, 60초 시각 기억을 갖추고 LeRobot에 통합

라이선스

  • code (Dexmal/OpenDM): Apache 2.0
  • LeRobot dm05 policy code: Apache 2.0

코드: Apache-2.0이며, Dexmal/OpenDM의 LICENSE 파일에서 확인했습니다. 가중치: Dexmal 컬렉션의 모든 DM0.5 모델 카드와 LeRobot이 변환한 사본에 Gemma 라이선스가 붙어 있으며, 모두 접근 제한이 없습니다. 백본은 Google의 Gemma 3를 기반으로 합니다. Gemma 약관은 상업적 사용, 수정, 재배포를 허용하지만, 가중치를 쓰거나 공유하는 사람은 Google의 금지 용도 정책을 지키고 이 약관을 함께 넘겨야 합니다. LeRobot: LeRobot의 dm05 정책 코드는 Apache-2.0이며, 가이드는 가중치가 각 모델 카드를 따른다고 밝힙니다. 데이터셋: Hugging Face에 있는 Dexmal의 RoboTwin 2.0, RoboDojo-Sim, SO-101 학습 데이터셋에는 버전이나 조건 없이 일반적인 Creative Commons 태그만 있으므로, 재사용 전에 Dexmal에 확인하십시오. 호스팅 서비스: Dexmal MaaS는 자체 약관을 가진 별도의 유료 서비스입니다. 카드 이미지: Dexmal 자체 데모 영상의 한 프레임으로, 두 라이선스 어느 쪽에도 해당하지 않습니다. 2026-11-12에 LICENSE 파일, Hugging Face 모델 카드와 데이터셋 카드, LeRobot 가이드로 확인했습니다.

개요

DM0.5는 중국 로봇 기업 Dexmal의 오픈 비전-언어-행동 모델(VLA)로, 2026년 7월 9일 자사의 2026년 2월 모델 DM0의 후속으로 공개되었습니다. 카메라 이미지, 로봇의 관절 상태, 자연어 지시를 입력받아 연속적인 로봇 동작 청크를 출력합니다. Google의 Gemma 3를 기반으로 한 4B 비전 언어 백본과 Flow Matching으로 학습한 680M 액션 엑스퍼트를 결합했으며, 최근 최대 60초의 키프레임을 되돌아볼 수 있어 물체가 원래 어디에 있었는지, 사람이 작업 초반에 무엇을 보여 주었는지 기억할 수 있습니다. Dexmal은 여러 로봇의 실제 조작 데이터, 내비게이션 데이터, 사람의 일인칭 영상, 일반 비전 언어 데이터로 학습시켰습니다. OpenDM 저장소는 가중치, 학습 및 추론 코드, 파인튜닝 레시피, 실제 로봇 가이드를 공개합니다. 공개된 체크포인트에는 베이스 모델, 메모리 버전, 그리고 LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge Table30 v2, SO-101 큐브 집기 작업용으로 파인튜닝한 모델이 있습니다. 코드는 Apache-2.0, 가중치는 Gemma 라이선스입니다. LeRobot은 2026년 10월 DM0.5를 dm05 정책으로 추가했습니다.

DM0.5는 Dexmal의 로봇 파운데이션 모델로, 2026년 7월 9일 자사의 2026년 2월 DM0의 후속으로 공개되었습니다. OpenDM 저장소에 코드가 있고, 가중치는 Hugging Face 컬렉션과 ModelScope에 있습니다. Dexmal은 이 모델을 논문이 아닌 기술 블로그로 설명합니다.

DM0.5는 VLA입니다. 카메라 이미지와 지시를 읽는 비전 언어 모델에, 그 특징을 모터 명령으로 바꾸는 액션 엑스퍼트를 연결한 구조입니다. 백본은 Gemma 3를 기반으로 한 4B 모델이고, 액션 엑스퍼트는 680M 파라미터입니다. 호출할 때마다 미래 동작 묶음을 만들며(액션 청킹), 기본값으로 Flow Matching 10단계가 50개 동작을 생성합니다. Dexmal은 RTX 4090 한 장에서 초당 약 10회, H100 한 장에서 약 20회 호출된다고 보고합니다.

Dexmal은 DM0 대비 세 가지 개선점을 꼽습니다.

- 기억: 현재 프레임 외에 최근 최대 60초의 압축된 키프레임을 보므로, 컵을 원래 자리에 되돌리거나 사람이 처음에 보여 준 규칙을 따를 수 있습니다. - 학습 중 추론: 11개의 추가 텍스트 작업으로 모터 명령 예측뿐 아니라 작업 단계, 다가올 사건, 다음 동작을 설명하게 합니다. - 궤적 정렬: 예측 동작을 타임스탬프가 아니라 진행 정도로 시연과 맞추므로, 서로 다른 속도로 기록된 원격 조작 데이터도 같은 움직임을 가르칩니다.

학습 데이터는 AgileX ALOHA, Galaxea R1 Lite, AgiBot G1, Franka Emika Panda, UR5, ARX5, 그리고 Dexmal 자체 양팔 이동 로봇의 실제 조작 데이터에 내비게이션 데이터, 사람이 물건을 다루는 일인칭 영상, 일반 이미지와 영상 데이터를 섞은 것입니다. Dexmal은 이 모델을 본 적 없는 로봇 몸체에도 후속 학습으로 옮길 수 있다고 말합니다(크로스 엠보디먼트). 베이스 체크포인트는 그리퍼가 달린 6관절 팔 두 개용의 14개 값 상태·동작 형식을 쓰며, 핵심 모델은 최대 32개 값을 다룹니다.

공개된 체크포인트:

- 파인튜닝용 베이스 모델 DM05와 32개 이력 슬롯을 가진 DM05-MEM. - LIBERO, VLA-Arena, RoboTwin 2.0용 벤치마크 모델, ARX X5 팔용 RoboDojo-Sim 모델, 실제 로봇 네 종류을 위한 RoboChallenge Table30 v2 컬렉션. - SO-101 팔용 LoRA 파인튜닝 DM05-SO101-Pick-Cube와 전용 학습 가이드.

저장소에는 HTTP API를 갖춘 추론 서버, 전체 학습이나 LoRA로 새 로봇 데이터에 맞추는 파인튜닝 가이드, RoboTwin 2.0 가이드 같은 벤치마크 레시피, Dexmal이 사용한 실제 로봇 가이드가 있습니다. 대상은 AgileX COBOT Magic과 Dexmal 자체 DOS-W1이며 카메라 위치도 나와 있습니다. LeRobot 0.7부터 DM0.5는 dm05 정책이기도 하며, LeRobot 가이드는 lerobot/dm05_base에서 시작해 표준 LeRobot 데이터셋으로 학습합니다.

Dexmal은 LIBERO에서 99.0%(pi0.5는 96.9%), RoboTwin 2.0에서 93.6%와 93.3%, 실제 로봇 벤치마크 RoboChallenge Table30 v2에서 성공률 43%(pi0.5는 14.3%)를 보고합니다. Dexmal은 또 DM0.5가 RoboColiseum과 RoboDojo-Sim 리더보드에서 선두를 했다고 밝힙니다. 이는 Dexmal의 수치와 주장입니다. Dexmal은 DM0.5를 유료 호스팅 서비스 Dexmal MaaS로도 제공합니다.

중요한 이유

DM0.5는 우리가 소개하는 pi0와 pi0.5, NVIDIA Isaac GR00T, LingBot-VLA, WALL-OSS, GalaxeaVLA 같은 오픈 VLA 모델에 합류합니다. Dexmal이 가장 앞세우는 것은 기억입니다. DM0.5는 현재 프레임에 더해 최대 일 분간의 과거 화면을 활용하도록 학습되어, 중요한 것이 시야에서 사라진 작업에서 차이를 만듭니다. 여러 벤치마크와 실제 로봇 네 종류용 파인튜닝 체크포인트도 제공하며, 저가형 팔 SO-101 사용자가 재현할 수 있는 예제도 있습니다. LeRobot 정책이므로 LeRobot 데이터셋만 있으면 다른 정책과 같은 도구로 파인튜닝할 수 있고, Dexmal의 자체 벤치마크 표에서는 LIBERO, RoboTwin 2.0, RoboChallenge에서 pi0.5를 앞섭니다.

해결하는 문제

대부분의 오픈 로봇 정책은 현재 카메라 화면만 보고 결정하므로, 물체가 가려지거나 옮겨지거나 치워지면 단서를 잃고, 시연을 녹화한 사람의 리듬까지 배웁니다. 뛰어난 정책을 처음부터 학습하려면 소수의 팀만 가진 대규모 로봇 데이터셋도 필요합니다. DM0.5는 최대 일 분간의 시각 이력을 유지하고 여러 로봇으로 학습된 오픈 사전 학습 모델을, 전체 학습이나 LoRA로 자체 데이터에 파인튜닝하는 레시피와 함께 제공합니다.

핵심 요점

  • 오픈 VLA 모델: Gemma 3 기반 4B 비전 언어 백본과 Flow Matching으로 학습한 680M 액션 엑스퍼트
  • 최근 최대 60초의 키프레임을 기억으로 사용해 긴 작업이나 일부가 가려진 작업에 대응
  • 50개 동작 청크를 생성하며, Dexmal은 RTX 4090에서 약 10 Hz, H100에서 약 20 Hz를 보고
  • LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge, SO-101 작업용 체크포인트
  • LeRobot 0.7의 dm05 정책으로도, Dexmal 자체 OpenDM 코드로도 실행
  • 코드는 Apache-2.0, 가중치는 Gemma 라이선스

대상

  • 오픈 VLA 모델을 비교하는 로봇 학습 연구자, 특히 긴 작업이나 기억이 필요한 작업
  • ALOHA 방식 양팔 또는 단일 팔 구성으로 사전 학습 정책을 자체 데이터로 파인튜닝하려는 팀
  • 익숙한 학습 도구로 더 큰 VLA를 시험해 보려는 LeRobot 사용자(SO-101 사용자 포함)
  • LIBERO, RoboTwin 2.0, RoboChallenge로 평가를 진행하는 벤치마크 작성자

한계

  • 가중치는 Apache-2.0이 아니라 Gemma 라이선스입니다. 상업적 사용은 허용하지만, 모델을 쓰거나 공유하는 사람에게 Google의 금지 용도 정책과 기타 조건이 그대로 이어집니다
  • 모든 벤치마크 수치와 순위는 Dexmal 또는 리더보드 자체에서 나온 것이며, Dexmal이 공개한 것은 동료 심사 논문이 아니라 기술 블로그입니다
  • 학습에는 대형 GPU가 필요합니다. Dexmal은 8장을 권장하며, RTX 4090에서는 전체 파인튜닝이 메모리 부족으로 실패할 수 있어 LoRA를 권합니다
  • 학습 데이터 자체는 공개되지 않았으며, 블로그는 출처는 밝히지만 양은 밝히지 않습니다
  • 실제 로봇 가이드는 AgileX COBOT Magic과 Dexmal의 DOS-W1만 다루며, 카메라 위치는 Dexmal 자체 설정입니다
  • 베이스 체크포인트는 양팔용 14개 값 상태·동작 형식을 전제로 하므로, 다른 로봇은 파인튜닝과 자체 정규화 통계가 필요합니다
  • 고속 추론 백엔드에는 TensorRT, Triton, FlexAttention이 필요하고, FP8 준비 단계는 현재 1,024토큰으로 제한됩니다
  • Dexmal이 모델의 호스팅 버전을 판매하므로, 오픈 공개와 상용 서비스가 함께 존재합니다

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.