RLinf

RLを介したファウンデーションモデルのポストトレーニングのためのスケーラブルインフラストラクチャ

ライセンス

Apache-2.0

概要

RLinfは、強化学習を介したファウンデーションモデル（LLM、VLM、VLA）のポストトレーニングのための柔軟でスケーラブルなオープンソースインフラストラクチャです。複数のロボットシミュレーター（ManiSkill、LIBERO、IsaacLab、CALVIN、Metaworld）と実世界プラットフォーム（Franka Arm）で身体性知能をサポートします。主な特徴には、多様なRLアルゴリズム（PPO、GRPO、DAPO、Reinforce++）のサポート、複数GPUノードにわたる分散訓練、ベースラインに対する100%以上のスループット改善、pi0、OpenVLA、GR00Tなどの人気VLAモデルとの統合が含まれます。

RLinfは、LLM、VLM、VLAを含む基盤モデルを、身体性知能アプリケーションのための強化学習を介した事後訓練用に設計された、柔軟でスケーラブルなオープンソースインフラストラクチャです。ManiSkill、LIBERO、IsaacLab、CALVIN、Metaworldの5つの主要なロボットシミュレータ、およびFranka Armなどの実世界プラットフォームと統合し、PPO、GRPO、DAPO、Reinforce++を含む多様なRLアルゴリズムをサポートします。このインフラストラクチャは、複数のGPUノードにわたる分散訓練を可能にし、基準実装に対して100%以上のスループット改善を達成します。pi0、OpenVLA、GR00Tなどの人気のあるVLAモデルをシミュレーションおよびハードウェア環境と接続する統一パイプラインを提供することにより、RLinfは以前にモデル、アルゴリズム、シミュレータの各組み合わせに対してカスタムエンジニアリングを必要としていた断片化を排除します。

重要な理由

RLinfは、強化学習を用いてロボティクス向けの基盤モデルを学習するために必要なインフラという、重要な空白を埋めます。LLMからVLA、身体性エージェントまでのパイプライン全体をサポートしており、ロボット基盤モデルのポストトレーニングにおける定番のインフラとなっています。

解決する課題

RLによるロボット基盤モデルのポストトレーニングには、言語モデルの学習とロボットシミュレーションを組み合わせた、専用の分散学習インフラが必要です。RLinfはこのインフラをオープンソースのパッケージとして提供します。

主なポイント

• RLによる基盤モデルのポストトレーニングのための柔軟なインフラです。
• ロボティクス用途のLLM、VLM、VLAをサポートします。
• 身体性学習のために複数のロボットシミュレーターと連携します。
• 分散学習に対応したスケーラブルなアーキテクチャです。
• 最先端のRL学習パイプラインをオープンソースで実装しています。

対象

• ロボティクス向けに基盤モデルをファインチューニングする研究者
• 強化学習でVLAモデルを学習するチーム
• 身体性AI向けのRLインフラを構築する開発者
• ロボットモデルの学習を拡大する企業

制限事項

• 学習には多大な計算資源が必要です
• 複数のシミュレーターへの依存があり、セットアップが複雑です
• 分野の進化が速く、APIが頻繁に変更されます
• RLと言語モデル学習の両方の知識が必要です