Dexmal DM0.5
Dexmal的开源VLA机器人模型,具备60秒视觉记忆,已集成到LeRobot
许可证
- code (Dexmal/OpenDM): Apache 2.0
- LeRobot dm05 policy code: Apache 2.0
代码:Apache-2.0,依据Dexmal/OpenDM的LICENSE文件。权重:Dexmal合集中每张DM0.5模型卡及LeRobot转换副本均标注Gemma许可证,均无访问限制;主干基于Google的Gemma 3。Gemma条款允许商用、修改和再分发,但使用或分享权重的人必须遵守Google的禁止使用政策,并把这些条款一并传递。LeRobot:LeRobot中dm05策略的代码采用Apache-2.0,其指南称权重遵循各自的模型卡。数据集:Dexmal在Hugging Face上的RoboTwin 2.0、RoboDojo-Sim和SO-101训练集只有笼统的Creative Commons标签,未注明版本或条款;复用前请向Dexmal确认。托管服务:Dexmal MaaS是单独的付费服务,有自己的条款。卡片图片:取自Dexmal自己的演示视频,不受上述两种许可证覆盖。2026-11-12依据LICENSE文件、Hugging Face模型卡和数据集卡以及LeRobot指南核对。
概述
DM0.5是中国机器人公司Dexmal的开源视觉-语言-动作模型(VLA),于2026年7月9日发布,接替其2026年2月的DM0模型。它接收相机图像、机器人关节状态和自然语言指令,输出连续的机器人动作块。模型将基于Google Gemma 3的4B视觉语言主干与一个用Flow Matching训练的680M动作专家结合,并能回看最近最多60秒的关键帧,从而记住物体原来在哪里,或人在任务早先演示了什么。Dexmal用多种机器人的真实操作数据、导航数据、人的第一人称视频以及通用视觉语言数据训练了它。OpenDM仓库公开了权重、训练和推理代码、微调配方以及真机指南。已发布的检查点包括基础模型、记忆版本,以及针对LIBERO、RoboTwin 2.0、VLA-Arena、RoboDojo-Sim、RoboChallenge Table30 v2和SO-101抓取方块任务的微调模型。代码采用Apache-2.0,权重采用Gemma许可证。LeRobot于2026年10月将DM0.5加入为dm05策略。
DM0.5是Dexmal的机器人基础模型,2026年7月9日发布,接替2026年2月的DM0。代码在OpenDM仓库,权重在Hugging Face合集和ModelScope。Dexmal以技术博客而非论文介绍。
DM0.5是VLA:视觉语言模型读图像和指令,动作专家把特征转为电机指令。主干是基于Gemma 3的4B模型,动作专家680M参数。每次调用输出一段动作(动作分块);默认10步Flow Matching生成50个动作,Dexmal称RTX 4090每秒约10次、H100约20次。
相对DM0的三项改进:
- 记忆:另看最近最多60秒的压缩关键帧,能把杯子放回原处或遵循人开头演示的规则。 - 训练中推理:11项额外文本任务让模型描述任务阶段、后续事件和下一步动作,不只预测电机指令。 - 轨迹对齐:预测动作按进度而非时间戳与示范对齐,使不同速度录制的遥操作数据教同一动作。
训练数据有AgileX ALOHA、Galaxea R1 Lite、AgiBot G1、Franka Emika Panda、UR5、ARX5及Dexmal双臂移动机器人的真机操作,另有导航、人操作物体的第一人称视频和通用图像视频。Dexmal称可后训练到未见过的本体(跨具身);基础检查点用14维状态和动作(两条带夹爪的6关节臂),核心模型最多32维。
检查点:
- 用于微调的基础模型DM05,及带32个历史槽位的DM05-MEM。 - LIBERO、VLA-Arena和RoboTwin 2.0基准模型,ARX X5臂的RoboDojo-Sim模型,覆盖四种真机的RoboChallenge Table30 v2合集。 - DM05-SO101-Pick-Cube:SO-101臂的LoRA微调,附训练指南。
仓库有带HTTP API的推理服务、全量训练或LoRA的微调指南、RoboTwin 2.0指南等基准配方,及所用真机AgileX COBOT Magic和Dexmal DOS-W1的指南,含相机位置。自LeRobot 0.7起DM0.5也是dm05策略:LeRobot指南从lerobot/dm05_base起在任意标准LeRobot数据集上训练。
Dexmal报告LIBERO 99.0%(pi0.5为96.9%),RoboTwin 2.0为93.6%和93.3%,真机RoboChallenge Table30 v2成功率43%(pi0.5为14.3%)。Dexmal还称DM0.5在RoboColiseum和RoboDojo-Sim排行榜第一;以上均为Dexmal所述。DM0.5另有付费托管服务Dexmal MaaS。
为何重要
DM0.5加入我们收录的开源VLA模型,如pi0和pi0.5、NVIDIA Isaac GR00T、LingBot-VLA、WALL-OSS和GalaxeaVLA。Dexmal最强调记忆:DM0.5被训练为除当前帧外还利用最多一分钟的过往画面,对重要物体离开视野的任务很关键。它还为多个基准和四种真机提供微调检查点,并附低成本SO-101臂用户可复现的示例。作为LeRobot策略,有LeRobot数据集即可用与其他策略相同的工具微调;Dexmal自己的基准表显示它在LIBERO、RoboTwin 2.0和RoboChallenge上领先pi0.5。
解决的问题
多数开源机器人策略只根据当前相机画面决策,一旦物体被遮挡、移动或收起就会失去线索,还会学到录制示范者的节奏。从零训练一个强策略还需要大型机器人数据集,而很少有团队拥有。DM0.5为团队提供一个开源预训练模型:保留最多一分钟的视觉历史,在多种机器人上训练,并附有用全量训练或LoRA在自有数据上微调的配方。
要点
- 开源VLA模型:基于Gemma 3的4B视觉语言主干,加上用Flow Matching训练的680M动作专家
- 把最近最多60秒的关键帧作为记忆,用于长时程或部分被遮挡的任务
- 生成50个动作的动作块;Dexmal报告RTX 4090上约10 Hz,H100上约20 Hz
- 提供LIBERO、RoboTwin 2.0、VLA-Arena、RoboDojo-Sim、RoboChallenge和SO-101任务的检查点
- 可作为LeRobot 0.7中的dm05策略运行,也可用Dexmal自己的OpenDM代码运行
- 代码采用Apache-2.0,权重采用Gemma许可证
适用人群
- 比较开源VLA模型的机器人学习研究者,尤其关注长时程或需要记忆的任务
- 拥有ALOHA式双臂或单臂平台、想用自有数据微调预训练策略的团队
- 想用熟悉的训练工具试用更大VLA的LeRobot用户,包括SO-101用户
- 在LIBERO、RoboTwin 2.0或RoboChallenge上做评测的基准作者
局限
- 权重采用Gemma许可证而非Apache-2.0:允许商用,但使用或分发模型的人都须遵守Google的禁止使用政策及其他条款
- 所有基准数据和排名均来自Dexmal或排行榜本身;Dexmal发布的是技术博客,而非同行评审论文
- 训练需要大显存GPU:Dexmal建议用8块GPU,在RTX 4090上全量微调可能显存不足,建议改用LoRA
- 训练数据本身未公开;博客列出了来源,但没有给出数量
- 真机指南只涵盖AgileX COBOT Magic和Dexmal的DOS-W1,相机位置为Dexmal自定
- 基础检查点要求14维双臂状态和动作格式;其他机器人需要微调并准备各自的归一化统计
- 快速推理后端需要TensorRT、Triton和FlexAttention,其FP8准备步骤目前限制为1,024个token
- Dexmal出售该模型的托管版本,因此开源发布与商业服务并存