RLinf

用于通过强化学习对基础模型进行后训练的可扩展基础设施

许可证

Apache-2.0

概述

RLinf 是一个灵活且可扩展的开源基础设施，用于通过强化学习对基础模型（LLM、VLM、VLA）进行后训练。它支持具身智能，集成多种机器人仿真器（ManiSkill、LIBERO、IsaacLab、CALVIN、Metaworld）和真实世界平台（Franka Arm）。主要特性包括支持多种 RL 算法（PPO、GRPO、DAPO、Reinforce++）、跨多 GPU 节点的分布式训练、相比基线超过 100% 的吞吐量提升，以及与 pi0、OpenVLA 和 GR00T 等流行 VLA 模型的集成。

RLinf是一个灵活且可扩展的开源基础设施,专为通过强化学习对基础模型(包括LLM、VLM和VLA)进行后训练而设计,应用于具身智能。它与五个主要机器人仿真器(ManiSkill、LIBERO、IsaacLab、CALVIN和Metaworld)以及Franka Arm等真实世界平台集成,同时支持PPO、GRPO、DAPO和Reinforce++等多种强化学习算法。该基础设施支持跨多个GPU节点的分布式训练,相比基线实现实现了超过100%的吞吐量提升。通过提供连接流行VLA模型(如pi0、OpenVLA和GR00T)与仿真和硬件环境的统一管道,RLinf消除了以前每种模型、算法和仿真器组合都需要自定义工程的碎片化问题。

为何重要

RLinf 填补了一个关键空白——利用强化学习训练机器人基础模型所需的基础设施。它支持从 LLM 到 VLA 再到具身智能体的完整流水线，是机器人基础模型后训练的首选基础设施。

解决的问题

利用 RL 对机器人基础模型进行后训练，需要一套将语言模型训练与机器人仿真相结合的专用分布式训练基础设施。RLinf 以开源软件包的形式提供了这一基础设施。

要点

• 通过 RL 对基础模型进行后训练的灵活基础设施
• 支持面向机器人应用的 LLM、VLM 和 VLA
• 集成多种机器人仿真器，用于具身训练
• 面向分布式训练的可扩展架构
• 最先进 RL 训练流水线的开源实现

适用人群

• 为机器人领域微调基础模型的研究人员
• 使用强化学习训练 VLA 模型的团队
• 为具身智能构建 RL 基础设施的开发者
• 扩大机器人模型训练规模的企业

局限

• 训练需要大量计算资源
• 依赖多个仿真器，配置复杂
• 领域发展迅速，API 变动频繁
• 需要同时具备 RL 和语言模型训练方面的知识