Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Dexmal DM0.5

Dexmal 的開放 VLA 機器人模型,具備 60 秒視覺記憶,已整合至 LeRobot

授權條款

  • code (Dexmal/OpenDM): Apache 2.0
  • LeRobot dm05 policy code: Apache 2.0

程式碼:Apache-2.0,依據 Dexmal/OpenDM 的 LICENSE 檔案。權重:Dexmal 合集中每張 DM0.5 模型卡與 LeRobot 轉換副本皆標示 Gemma 授權,均無存取限制;主幹以 Google 的 Gemma 3 為基礎。Gemma 條款允許商業使用、修改與再散布,但使用或分享權重者必須遵守 Google 的禁止使用政策,並將這些條款一併傳遞。LeRobot:LeRobot 中 dm05 策略的程式碼採用 Apache-2.0,其指南說明權重依各自的模型卡授權。資料集:Dexmal 在 Hugging Face 上的 RoboTwin 2.0、RoboDojo-Sim 與 SO-101 訓練資料集只有籠統的 Creative Commons 標籤,未標明版本或條款;重複使用前請向 Dexmal 確認。託管服務:Dexmal MaaS 是另外的付費服務,有其自己的條款。卡片圖片:取自 Dexmal 自己的示範影片,不在上述兩種授權範圍內。2026-11-12 依據 LICENSE 檔案、Hugging Face 模型卡與資料集卡以及 LeRobot 指南核對。

概述

DM0.5 是中國機器人公司 Dexmal 的開放 VLA 模型(視覺語言動作模型),於 2026 年 7 月 9 日發表,接替該公司 2026 年 2 月的 DM0 模型。它接收攝影機影像、機器人的關節狀態與自然語言指令,輸出連續的機器人動作區塊。模型結合以 Google Gemma 3 為基礎的 4B 視覺語言主幹,以及用 Flow Matching 訓練的 680M 動作專家,並能回顧最近最多 60 秒的關鍵影格,因此能記住物體原本的位置,或人在任務稍早示範了什麼。Dexmal 以多種機器人的真實操作資料、導航資料、人的第一人稱影片與一般視覺語言資料訓練它。OpenDM 儲存庫公開了權重、訓練與推論程式碼、微調配方以及實體機器人指南。已發布的檢查點包括基礎模型、記憶版本,以及針對 LIBERO、RoboTwin 2.0、VLA-Arena、RoboDojo-Sim、RoboChallenge Table30 v2 與 SO-101 抓取方塊任務的微調模型。程式碼採用 Apache-2.0,權重採用 Gemma 授權。LeRobot 於 2026 年 10 月將 DM0.5 加入為 dm05 策略。

DM0.5是Dexmal的機器人基礎模型,2026年7月9日發表,接替2026年2月的DM0。程式碼在OpenDM儲存庫,權重在Hugging Face合集與ModelScope。Dexmal以技術部落格而非論文介紹。

DM0.5是VLA模型:視覺語言模型讀影像與指令,動作專家把特徵轉為馬達指令。主幹是基於Gemma 3的4B模型,動作專家680M參數。每次呼叫輸出一段動作(動作分塊);預設10步Flow Matching產生50個動作,Dexmal稱RTX 4090每秒約10次、H100約20次。

相對DM0的三項改進:

- 記憶:另看最近最多60秒的壓縮關鍵影格,能把杯子放回原處或遵循人開頭示範的規則。 - 訓練中推理:11項額外文字任務讓模型描述任務階段、後續事件與下一步動作,不只預測馬達指令。 - 軌跡對齊:預測動作依進度而非時間戳與示範配對,使不同速度錄製的遠端操作資料教同一動作。

訓練資料有AgileX ALOHA、Galaxea R1 Lite、AgiBot G1、Franka Emika Panda、UR5、ARX5及Dexmal雙臂移動機器人的實機操作,另有導航、人操作物品的第一人稱影片與一般影像。Dexmal稱可後訓練到未見過的本體(跨形態);基礎檢查點用14維狀態與動作(兩支附夾爪的6關節手臂),核心模型最多32維。

檢查點:

- 微調用基礎模型DM05,及32個歷史槽位的DM05-MEM。 - LIBERO、VLA-Arena與RoboTwin 2.0基準模型,ARX X5的RoboDojo-Sim模型,涵蓋四種實機的RoboChallenge Table30 v2合集。 - DM05-SO101-Pick-Cube:SO-101的LoRA微調,附訓練指南。

儲存庫有具HTTP API的推論伺服器、完整訓練或LoRA的微調指南、RoboTwin 2.0指南等基準配方,及所用實機AgileX COBOT Magic與Dexmal DOS-W1的指南,含攝影機位置。自LeRobot 0.7起DM0.5也是dm05策略:LeRobot指南從lerobot/dm05_base起在任一標準LeRobot資料集訓練。

Dexmal稱LIBERO 99.0%(pi0.5為96.9%),RoboTwin 2.0為93.6%與93.3%,實機基準RoboChallenge Table30 v2成功率43%(pi0.5為14.3%)。Dexmal也稱DM0.5在RoboColiseum與RoboDojo-Sim排行榜第一;以上皆為Dexmal所述。DM0.5另有付費託管服務Dexmal MaaS。

為何重要

DM0.5加入我們收錄的開放VLA模型,如pi0與pi0.5、NVIDIA Isaac GR00T、LingBot-VLA、WALL-OSS與GalaxeaVLA。Dexmal最強調記憶:DM0.5經訓練後除目前影格外還運用最多一分鐘的過往畫面,對重要物品離開視野的任務很關鍵。它也為多個基準與四種實體機器人提供微調檢查點,並附低成本SO-101手臂使用者可重現的範例。作為LeRobot策略,有LeRobot資料集即可用與其他策略相同的工具微調;Dexmal自己的基準表顯示它在LIBERO、RoboTwin 2.0與RoboChallenge上領先pi0.5。

解決的問題

多數開放的機器人策略只依目前的攝影機畫面做決定,一旦物品被遮住、移動或收起就會失去線索,還會學到錄製示範者的節奏。從零訓練強大的策略也需要大型機器人資料集,而少有團隊擁有。DM0.5 為團隊提供一個開放的預訓練模型:保留最多一分鐘的視覺歷史、在多種機器人上訓練,並附有以完整訓練或 LoRA 在自有資料上微調的配方。

重點

  • 開放 VLA 模型:以 Gemma 3 為基礎的 4B 視覺語言主幹,搭配以 Flow Matching 訓練的 680M 動作專家
  • 以最近最多 60 秒的關鍵影格作為記憶,用於長時程或部分被遮住的任務
  • 產生 50 個動作的區塊;Dexmal 回報 RTX 4090 上約 10 Hz,H100 上約 20 Hz
  • 提供 LIBERO、RoboTwin 2.0、VLA-Arena、RoboDojo-Sim、RoboChallenge 與 SO-101 任務的檢查點
  • 可作為 LeRobot 0.7 的 dm05 策略執行,也能用 Dexmal 自己的 OpenDM 程式碼執行
  • 程式碼採用 Apache-2.0;權重採用 Gemma 授權

適用對象

  • 比較開放 VLA 模型的機器人學習研究人員,特別是長時程或需要記憶的任務
  • 擁有 ALOHA 式雙臂或單臂平台、想以自有資料微調預訓練策略的團隊
  • 想用熟悉的訓練工具試用較大 VLA 的 LeRobot 使用者,包括 SO-101 使用者
  • 在 LIBERO、RoboTwin 2.0 或 RoboChallenge 上進行評測的基準作者

限制

  • 權重採用 Gemma 授權而非 Apache-2.0:允許商業使用,但使用或分享模型者都須遵守 Google 的禁止使用政策及其他條款
  • 所有基準數字與排名都來自 Dexmal 或排行榜本身;Dexmal 發表的是技術部落格,而非同儕審查論文
  • 訓練需要大型 GPU:Dexmal 建議 8 張 GPU,在 RTX 4090 上完整微調可能記憶體不足,建議改用 LoRA
  • 訓練資料本身未公開;部落格列出來源,但未說明數量
  • 實體機器人指南只涵蓋 AgileX COBOT Magic 與 Dexmal 的 DOS-W1,攝影機位置由 Dexmal 自訂
  • 基礎檢查點要求 14 維的雙臂狀態與動作格式;其他機器人需要微調並準備各自的正規化統計
  • 快速推論後端需要 TensorRT、Triton 與 FlexAttention,其 FP8 準備步驟目前限制為 1,024 個 token
  • Dexmal 販售此模型的託管版本,因此開放發布與商業服務並存

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。