RLinf

Infrastructure évolutive pour le post-entraînement de modèles de fondation par RL

Licence

Apache-2.0

Aperçu

RLinf est une infrastructure open source flexible et évolutive pour le post-entraînement de modèles fondamentaux (LLM, VLM, VLA) par apprentissage par renforcement. Il supporte l'intelligence incarnée avec plusieurs simulateurs de robots (ManiSkill, LIBERO, IsaacLab, CALVIN, Metaworld) et des plateformes réelles (Franka Arm). Les caractéristiques clés incluent le support de divers algorithmes d'AR (PPO, GRPO, DAPO, Reinforce++), l'entraînement distribué sur plusieurs nœuds GPU, une amélioration du débit de plus de 100 % par rapport aux références, et l'intégration avec des modèles VLA populaires comme pi0, OpenVLA et GR00T.

RLinf est une infrastructure open-source flexible et évolutive conçue pour le post-entraînement de modèles de fondation, incluant LLM, VLM et VLA, via l'apprentissage par renforcement pour les applications d'intelligence incarnée. Elle s'intègre avec cinq simulateurs robotiques majeurs (ManiSkill, LIBERO, IsaacLab, CALVIN et Metaworld) ainsi que des plateformes du monde réel comme le Franka Arm, tout en prenant en charge divers algorithmes RL incluant PPO, GRPO, DAPO et Reinforce++. L'infrastructure permet l'entraînement distribué sur plusieurs nœuds GPU et atteint plus de 100 % d'amélioration du débit par rapport aux implémentations de référence. En fournissant un pipeline unifié connectant des modèles VLA populaires tels que pi0, OpenVLA et GR00T avec des environnements de simulation et matériels, RLinf élimine la fragmentation qui nécessitait auparavant une ingénierie personnalisée pour chaque combinaison de modèle, algorithme et simulateur.

Pourquoi c'est important

RLinf comble un manque crucial : l'infrastructure nécessaire pour entraîner des modèles de fondation pour la robotique par apprentissage par renforcement. Il prend en charge l'ensemble du pipeline, des LLM aux VLA jusqu'aux agents incarnés, ce qui en fait l'infrastructure de référence pour le post-entraînement de modèles de fondation robotiques.

Le problème résolu

Le post-entraînement de modèles de fondation robotiques par RL exige une infrastructure d'entraînement distribué spécialisée, qui combine l'entraînement de modèles de langage et la simulation robotique. RLinf fournit cette infrastructure sous forme de paquet open source.

Points clés

• Infrastructure flexible pour le post-entraînement de modèles de fondation par RL
• Prend en charge les LLM, VLM et VLA pour les applications robotiques
• Intégration de plusieurs simulateurs de robots pour l'entraînement incarné
• Architecture évolutive pour l'entraînement distribué
• Implémentation open source de pipelines d'entraînement RL à l'état de l'art

Pour qui

• Chercheurs qui affinent des modèles de fondation pour la robotique
• Équipes qui entraînent des modèles VLA par apprentissage par renforcement
• Développeurs qui construisent une infrastructure RL pour l'IA incarnée
• Entreprises qui font passer à l'échelle l'entraînement de modèles robotiques

Limites

• Nécessite d'importantes ressources de calcul pour l'entraînement
• Installation complexe avec des dépendances à plusieurs simulateurs
• Le domaine évolue rapidement, si bien que l'API change souvent
• Requiert des connaissances à la fois en RL et en entraînement de modèles de langage