Green-VLA: Staged Vision-Language-Action Model for Generalist Robots
作者: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文,按其 CC BY 4.0 许可协议使用;其中的图已注明作者。
一句话总结
一个约 4B 的 VLA 分五个阶段训练(网络数据、多机器人预训练、机器人调优、RL),通过共享的 64 槽位动作空间控制人形、双臂和单臂机器人。
为何重要
论文给出了混合异构机器人数据集的具体、可复用的方法:带掩码的统一动作槽位、基于光流的速度对齐、用于给数据集加权的质量指标,以及一个从均匀分布开始的采样计划。其 RL 阶段在不把 RL 梯度反向传播到基础模型的情况下改进了 flow matching 策略,并且同一检查点系列在一台真实人形机器人、一台真实双臂协作机器人和两个仿真基准上进行了评估。
问题
机器人数据集在观测布局、动作空间和采样率上各不相同,其质量也参差不齐,从抖动的轨迹到模糊的画面都有。把所有动作填充到一个向量中,会让多机器人策略对互不兼容的目标取平均,而仅靠行为克隆在长时程、接触丰富的任务上会达到饱和。依靠思维链进行规划的重推理型 VLA 会增加实时控制无法承受的延迟。
提出的方法
训练分阶段进行:以 PaliGemma (3B) 为基础,在 24M 个样本上进行网络多模态接地(L1),在约 3,000 小时的多机器人数据上预训练(R0),针对特定本体微调(R1),以及 RL 对齐(R2):用 Q 函数改进数据,并为 flow matching 动作专家学习一个噪声 actor。DataQA 流水线按抖动、清晰度、多样性和状态方差过滤回合,基于光流的重采样使各数据集的运动速度一致,带本体提示的掩码式 64 维统一动作空间取代了补零填充。推理时,策略预测回合进度,高斯混合 OOD 检测器把状态推回训练分布,联合预测模块把 VLM 指出的 2D 目标提升到 3D,并引导 flow matching 朝向该目标。
关键见解
- 把异构动作补零填充成一个向量,会在未使用的维度上产生虚假的损失;将损失按固定的语义布局加掩码即可消除这一问题,并让一个策略能够同时保留关节空间和笛卡尔空间的语义。
- 让数据集混合比例从均匀开始并逐步移向目标权重,可以防止大型数据集主导高动量优化器、淹没稀有的本体。
- 利用机器人的左右对称性对回合做镜像,并对可逆技能做时间反转,把 48 小时的人形机器人录制数据扩展为 167 小时的有效训练时长。
- 将 flow matching 采样器引向一个由语言接地的 3D 目标点,使精确物品拾取的效果远远超过策略自身所能达到的水平。
- 用 Q 梯度编辑轨迹或学习源噪声分布的 RL 对齐可以提高成功率,同时基础模型的权重不受 RL 梯度影响。
主要结果
- 真实 AgileX Cobot Magic 清理桌面任务,未经微调的 R0 检查点对比微调了 20,000 次迭代的基线:首件成功率 69.5%,而 AgiBot GO-1 为 38.4%,π0 为 35.6%;平均清理时间 1m35s,而 π0 为 2m59s。
- Simpler Google Robot 总体平均:60.2(R0)、61.3(R1)和 71.8(R2),而微调后的 π0 为 56.8,RT-1-X 为 46.5,OpenVLA 为 33.8。
- Simpler WidowX 平均成功率:45.0(R0)、55.2(R1)和 79.1(R2),而 DB-MemVLA 为 73.2,微调后的 π0 为 27.1;正文给出从 R1 到 R2 的提升为绝对值 24%。
- CALVIN ABC→D 平均链长:π0 R1 为 3.6,Green-VLA R1 为 4.18,Flower R1 为 4.53,Green-VLA R2 为 4.63。
- 电商货架拾取:联合预测引导把 top-1 成功率从 62.3% 提高到 95.4%(品牌级),从 36.7% 提高到 93.1%(精确 SKU),从 10.2% 提高到 72.8%(未见过的 SKU)。
- Green 人形机器人指令跟随成功率(如 Fig. 12 所绘):拾取 98%,放入篮子 100%,从篮子中拾取 77%,递给用户 99%,交接 84%,完整清理桌面 87%,平均 90%。
局限
- 作者表示,性能仍取决于重定向的保真度、残余的数据集偏差以及对灵巧技能的充分覆盖。
- 轨迹优化 RL 步骤不能保证改进轨迹,因此每条优化后的轨迹在加入数据之前,都要由操作员重置场景并重新执行来验证。
- 在 CALVIN 上,R1 模型(ACL 4.18)落后于 Flower R1(4.53),并且该基准未使用统一动作空间;R2 达到 4.63。
- Flower、OpenVLA 和 RT-1-X 的 Simpler 数据取自已发表的报告而非重新运行,人形机器人结果以百分比给出而没有回合数;Fig. 12 的图注提到域内和域外设置,但图中只显示一个序列。
- R0 清理桌面比较是把未经调优的 Green-VLA 与在任务数据上微调过的基线对比,而轻量级推理模块和多语言指令留待未来工作。
对领域的影响
Hugging Face 每日论文:311 个赞,位列该平台过去六个月机器人论文的前 5%。论文附有代码仓库和项目页面的链接。
摘要
我们提出 Green-VLA,一个分阶段的视觉-语言-动作框架,用于在人形机器人 Green 上进行真实世界部署,同时在多种本体之间保持泛化能力。Green-VLA 遵循五阶段课程:(L0) 基础 VLM,(L1) 多模态接地,(R0) 多本体预训练,(R1) 特定本体适配,以及 (R2) 基于 RL 的策略对齐。逐级推进建立语义和物理先验,学习共享的可供性(affordance),并对齐策略以实现超越行为克隆的长时程执行。其核心是一个面向机器人机队的统一数据与控制栈。一条可扩展的数据处理流水线(包括 DataQA 和时间对齐)对 3,000 小时的演示数据进行过滤和同步;一个统一的、感知本体的动作接口使单一策略能够控制人形机器人、移动机械臂和固定基座机械臂;VLA 控制器则通过回合进度预测、分布外检测以及一个可泛化到未见物体的基于联合预测的引导模块得到增强。Green-VLA 针对 Green 人形机器人进行了优化,能以零样本方式泛化到新的本体,并在双臂系统和各基准上取得最先进的性能,其中 RL 对齐在成功率、鲁棒性和长时程效率方面带来提升。
链接
- arXiv 2602.00919: https://arxiv.org/abs/2602.00919
- PDF: https://arxiv.org/pdf/2602.00919v1
- 代码: https://github.com/greenvla/GreenVLA
- 项目主页: https://greenvla.github.io/