RLinf

以強化學習對基礎模型進行後訓練的可擴展基礎設施

授權條款

Apache-2.0

概述

RLinf 是一個靈活且可擴展的開源基礎設施，用於以強化學習對基礎模型（LLM、VLM、VLA）進行後訓練。它以多個機器人模擬器（ManiSkill、LIBERO、IsaacLab、CALVIN、Metaworld）與真實世界平台（Franka Arm）支援具身智慧。主要特色包括支援多種強化學習演算法（PPO、GRPO、DAPO、Reinforce++）、跨多個 GPU 節點的分散式訓練、相較基準提升 100% 以上的吞吐量，並整合 pi0、OpenVLA 與 GR00T 等熱門 VLA 模型。

RLinf 是一個靈活且可擴展的開源基礎設施，專為以強化學習對基礎模型（包括 LLM、視覺語言模型（VLM）與 VLA）進行後訓練而設計，用於具身智慧應用。它整合了五個主要的機器人模擬器（ManiSkill、LIBERO、IsaacLab、CALVIN 與 Metaworld）以及 Franka Arm 等真實世界平台，並支援 PPO、GRPO、DAPO 與 Reinforce++ 等多種強化學習演算法。這個基礎設施能在多個 GPU 節點之間進行分散式訓練，吞吐量比基準實作提升 100% 以上。RLinf 提供一條統一的流程，把 pi0、OpenVLA 與 GR00T 等熱門 VLA 模型與模擬及硬體環境連接起來，消除了過去每種模型、演算法與模擬器組合都需要客製工程的分散局面。

為何重要

RLinf 填補了一個關鍵缺口：以強化學習訓練機器人基礎模型所需的基礎設施。它支援從大型語言模型、VLA 到具身代理的完整流程，是對機器人基礎模型進行後訓練的首選基礎設施。

解決的問題

以強化學習對機器人基礎模型進行後訓練，需要結合語言模型訓練與機器人模擬的專門分散式訓練基礎設施。RLinf 以開源套件的形式提供這套基礎設施。

重點

• 透過強化學習對基礎模型進行後訓練的彈性基礎設施
• 支援用於機器人應用的大型語言模型、視覺語言模型（VLM）與 VLA
• 整合多種機器人模擬器以進行具身訓練
• 可擴展的分散式訓練架構
• 最先進強化學習訓練流程的開源實作

適用對象

• 為機器人應用微調基礎模型的研究人員
• 以強化學習訓練 VLA 模型的團隊
• 為具身 AI 打造強化學習基礎設施的開發者
• 擴大機器人模型訓練規模的公司

限制

• 訓練需要大量運算資源
• 設定複雜，依賴多個模擬器
• 領域發展迅速，API 經常變動
• 需要同時具備強化學習與語言模型訓練的知識