Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Rho

微软的开源 5B VLA,已预先适配三款常见双臂机器人

许可证

MIT

概述

Rho 是微软研究院面向双臂机器人的开放权重视觉-语言-动作模型系列,于 2026 年 9 月以 MIT 许可证发布。每个模型约 50 亿参数:一个经过额外物理 grounding 训练的 4.68B Phi 系列视觉语言模型,连接一个 542M 的流匹配动作专家,每次输出约一秒的末端执行器运动。其思路是分两步适配。Rho-base 在 3,200 多小时以双臂为主的机器人数据上预训练,先在某一具体机器人约 300 小时的数据上做中期训练(midtraining)。发布的检查点已经为 I²RT YAM Box、UR AI Trainer 和 Franka FR3 Duo 完成了这一步,之后针对具体任务的微调所需的示范就更少。代码可在 LeRobot 数据集上微调,在 LIBERO 和 RoboEval 上评测,并通过 websocket 提供策略服务。全部权重和数据集都在 Hugging Face 上,方法见技术报告。

大多数开源 VLA 先做广泛预训练,再直接在任务上微调,于是示范数据必须同时教会机器人本身和任务。Rho 的前提是先学会机器人。在预训练和任务微调之间有一个本体中期训练阶段:在一台机器人横跨数十个任务族、约 280 到 300 小时的数据上训练两个 epoch。它的目的不是掌握任何任务,而是吸收这台机器人的相机、运动学、工作空间和控制约定。作者为三款常见双臂平台发布了已经完成这一阶段的模型,因此拥有其中一款的实验室,起点就是一个已经了解自家硬件的模型。

支撑这一思路的证据来自对照实验,而不是单一的亮眼数字。在 RoboTwin 2.0 仿真器中,经过中期训练的模型只用一半的微调示范就达到了与 Rho-base 相同的成功率,数据预算最小时差距最大。在真实的 FR3 Duo 上,同样 150 条插头插入示范,Rho-base 成功率为 60%,中期训练一个 epoch 后为 76.7%,发布的两 epoch 检查点为 86.7%。在 YAM Box 的 BusyBox 基准上,使用约 2,000 条示范,微调后的 Rho-YAM-Box 总体达到 90%,与 π0.5 持平,领先 GR00T N1.7 和 MolmoAct2。

此次发布还包含一个在线阶段。模型内部一个小型潜在策略从人类的纠正性接管中学习,其余部分保持冻结。报告中,15 条纠正过的回合把 FR3 Duo 上最难的试管装配配置从 30% 提升到 70%。状态与动作接口是通用的:每步最多 32 维,不用的维度会被屏蔽,因此同一个模型可以驱动关节空间或末端控制、增量或绝对目标,以及单臂或双臂。

为何重要

使用 VLA 真正昂贵的不是下载,而是把它适配到你的机器人和任务上,这通常意味着每个任务数百条示范。Rho 把其中与机器人相关的那部分成本,变成了为许多实验室已经拥有的三款平台发布的检查点,并采用 MIT 许可证。报告用在真实机器人上与 π0.5、GR00T N1.7 和 MolmoAct2 的对照比较支撑了这一说法。它也为开源 VLA 增添了来自大型实验室的第四个重要系列,与 OpenPI、GR00T 和 MolmoAct 并列。

解决的问题

把通用 VLA 微调到新任务上,会迫使示范数据同时教会机器人和任务。Rho 把两者分开:机器人只学一次,体现在为三款双臂平台发布的中期训练检查点里,因此任务微调从一个已经了解硬件的模型开始,需要的示范更少。随后,一个轻量的在线阶段还能根据少量人工纠正继续改进已部署的策略。

要点

  • 开放权重的 5B VLA:一个经过物理 grounding 训练的 4.68B Phi 系列 VLM,加上一个 542M 的流匹配动作专家
  • Rho-base 在 3,200 多小时以双臂为主的机器人数据上预训练,再中期训练出面向 YAM Box、UR AI Trainer 和 FR3 Duo 的变体
  • 在 RoboTwin 2.0 中,中期训练后的模型只用一半微调示范就追平了 Rho-base
  • 微调后的 Rho-YAM-Box 在 BusyBox 上达到 90%,与 π0.5 持平,领先 GR00T N1.7 和 MolmoAct2
  • 基于 15 条纠正回合的在线适配,把 FR3 Duo 上最难的试管配置从 30% 提升到 70%
  • 代码、权重和微调数据集均为 MIT 许可;可在 LeRobot 数据集上微调并通过 websocket 提供服务

适用人群

  • 拥有 I²RT YAM Box、UR AI Trainer 或 Franka FR3 Duo、想要预先适配好的起始策略的实验室
  • 在双臂操作上比较开源 VLA、需要一个强大的 MIT 许可基线的团队
  • 研究数据高效适配、中期训练以及从人工纠正中学习的研究人员
  • 想在自己的数据集上微调 5B VLA 的 LeRobot 用户

局限

  • 3,200 小时的预训练混合数据和各机器人的中期训练数据未公开;公开的只有检查点、BusyBox 数据集以及 LIBERO 和 RoboEval 的微调数据
  • 预先适配的变体只覆盖三款双臂平台;其他机器人需从 Rho-base 起步,自行做中期训练或准备更多任务数据
  • 对比结果来自作者自己的机器人和实验协议;项目页面本身也承认,三个平台和少数几个基准不足以证明普遍性能
  • 任务策略在真实机器人上仍需约 100 到 300 条示范;中期训练能减少这一需求,但不能消除
  • 训练和推理需要 CUDA GPU 以及针对 CUDA 工具包编译的 FlashAttention 2;走 Docker 路线需要约 100 GB 的构建空间
  • 2026 年 9 月底才发布,目前还没有外部的使用经验

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。