Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Lifelong Robot Learning

  • Aussi appelé: continual robot learning, lifelong learning
  • Catégorie: Learning & autonomy › Learning from demonstration
  • Mots-clés: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning

Cadre d'apprentissage dans lequel un robot acquiert une suite de tâches au fil du temps avec un seul modèle, dans le but de conserver les compétences antérieures et de les réutiliser pour apprendre plus vite de nouvelles tâches.

Définition

Apprentissage robotique tout au long de la vie (lifelong robot learning) : étude de robots qui continuent d'apprendre, tâche après tâche, plutôt que d'être entraînés une seule fois sur un jeu de données fixe. Sebastian Thrun et Tom Mitchell ont employé ce terme au milieu des années 1990, en soutenant qu'un robot confronté à de nombreuses tâches apparentées devrait transporter les connaissances des tâches antérieures vers les suivantes et avoir ainsi besoin de moins d'exemples pour chacune. Dans la formulation moderne stricte, une politique unique apprend des tâches en séquence et perd l'accès aux données des tâches antérieures pendant qu'elle en apprend une nouvelle.

La difficulté centrale est l'oubli catastrophique (catastrophic forgetting) : entraîner un réseau de neurones sur de nouvelles données modifie les poids dont dépendaient les tâches antérieures, et les performances sur ces tâches chutent. Les méthodes se répartissent en trois grandes familles. Le rejeu (replay) conserve un petit tampon de démonstrations ou d'expériences antérieures et le mêle à l'entraînement. La régularisation pénalise les modifications des paramètres qui comptaient pour les tâches antérieures, comme dans l'elastic weight consolidation. Les méthodes architecturales donnent à chaque tâche ses propres paramètres ou sous-réseaux, comme PackNet, ou ajoutent de nouveaux modules au fil du temps. Les résultats sont rapportés avec le transfert avant (l'apprentissage passé accélère-t-il les nouvelles tâches ?), le transfert arrière (le nouvel apprentissage nuit-il aux anciennes tâches ou les aide-t-il, des valeurs négatives signifiant de l'oubli) et le succès global sur toutes les tâches vues jusque-là.

La robotique rend le problème à la fois plus difficile et plus prometteur. Les données robotiques coûtent cher, donc la réutilisation compte, et les tâches partagent des objets, des scènes et des mouvements, donc il y a beaucoup à transférer. Des bancs d'essai comme LIBERO fournissent des suites de tâches de manipulation générées procéduralement, conçues pour séparer le transfert de connaissances sur les objets et les dispositions spatiales du transfert de comportements. L'apprentissage tout au long de la vie diffère de l'apprentissage multitâche, où toutes les tâches sont disponibles à la fois, et du réglage fin d'un modèle préentraîné sur une seule nouvelle tâche, qui peut lui aussi éroder des capacités antérieures.

Pourquoi c'est important

Les robots dans les foyers, les entrepôts et les laboratoires rencontrent de nouvelles tâches après leur déploiement. Réentraîner à partir de zéro sur toutes les données à chaque fois est coûteux, et les anciennes données ne sont pas forcément conservées. Les méthodes d'apprentissage tout au long de la vie décident si un robot peut ajouter une nouvelle compétence sans en perdre discrètement une ancienne.

Applications principales

  • Robots de service et domestiques qui apprennent de nouvelles tâches ménagères après déploiement
  • Extension de politiques de manipulation à de nouveaux objets et outils
  • Adaptation d'une flotte de robots déployée à de nouveaux sites et agencements
  • Évaluation comparative de l'apprentissage par imitation continu sur des suites de tâches
  • Ajout de compétences à des politiques conditionnées par le langage au fil du temps

En pratique

Une équipe maintient une politique de manipulation qui acquiert de nouvelles tâches à partir de démonstrations téléopérées toutes les quelques semaines. Pour chaque mise à jour, elle entraîne sur les nouvelles démonstrations plus un tampon de rejeu contenant une fraction des démonstrations antérieures, puis relance l'évaluation de chaque tâche déjà apprise avant la mise en service. Elle suit une matrice des taux de succès par tâche et par étape d'entraînement ; si une tâche antérieure baisse, elle augmente la part de rejeu ou gèle des parties du réseau. La même matrice montre le transfert avant, en comparant la vitesse d'apprentissage des nouvelles tâches à celle d'une politique entraînée à partir de zéro.

Idées reçues

  • L'apprentissage tout au long de la vie n'est qu'un réglage fin sur chaque nouvelle tâche — le réglage fin séquentiel naïf est la référence qui oublie généralement les tâches antérieures ; les méthodes d'apprentissage tout au long de la vie existent pour l'empêcher
  • Garder toutes les anciennes données résout le problème — cela évite l'oubli, mais le coût croît à chaque tâche, et le cadre strict suppose que les données antérieures sont limitées ou indisponibles
  • L'apprentissage tout au long de la vie est la même chose que l'apprentissage multitâche — l'apprentissage multitâche s'entraîne sur toutes les tâches à la fois, alors que l'apprentissage tout au long de la vie les voit l'une après l'autre
  • Éviter l'oubli est tout l'objectif — le transfert avant, où les tâches passées rendent les nouvelles plus rapides à apprendre, en fait tout autant partie

Qui devrait le savoir

  • Chercheurs en apprentissage robotique travaillant sur l'apprentissage par imitation et l'apprentissage par renforcement
  • Ingénieurs en apprentissage automatique qui maintiennent des politiques sur des robots déployés
  • Développeurs de robots de service qui planifient la manière dont les robots acquièrent de nouvelles compétences
  • Chercheurs qui conçoivent des bancs d'essai d'apprentissage robotique

Technologies associées

  • Apprentissage continu (Continual Learning)
  • Elastic Weight Consolidation
  • Rejeu d'expérience (Experience Replay)
  • Apprentissage multitâche (Multitask Learning)
  • Apprentissage par transfert (Transfer Learning)
  • LIBERO

Termes associés

  • Imitation Learning
  • Behavior Cloning
  • Curriculum Learning
  • Goal-Conditioned Policy
  • Foundation Model
  • Reinforcement Learning

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
  • Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.