Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Lifelong Robot Learning

  • 又称: continual robot learning, lifelong learning
  • 类别: Learning & autonomy › Learning from demonstration
  • 标签: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning

一种学习设定:机器人用同一个模型随时间习得一系列任务,目标是保留早先的技能,并复用它们以更快地学习新任务。

定义

机器人终身学习(Lifelong robot learning)研究的是一个任务接一个任务持续学习的机器人,而不是只在一个固定数据集上训练一次的机器人。Sebastian Thrun 和 Tom Mitchell 在 1990 年代中期使用了这个术语,他们认为,面对许多相关任务的机器人应当把早先任务中的知识带入后来的任务,从而让每个任务需要的样本更少。在严格的现代表述中,单个策略按顺序学习任务,并且在学习新任务时失去对早先任务数据的访问。

核心难题是灾难性遗忘:用新数据训练神经网络会改变早先任务所依赖的权重,导致这些任务上的性能下降。方法大致分为三类。回放保留一个由早先演示或经验组成的小缓冲区,并把它混入训练中。正则化对那些对早先任务重要的参数的变化施加惩罚,例如弹性权重巩固。架构类方法为每个任务分配各自的参数或子网络(例如 PackNet),或随时间加入新模块。结果通常用前向迁移(过去的学习是否加快了新任务的学习)、后向迁移(新的学习是损害还是帮助了旧任务,负值表示遗忘)以及在迄今见过的所有任务上的总体成功率来报告。

机器人领域让这个问题既更难,也更有前景。机器人数据昂贵,所以复用很重要;而任务之间共享物体、场景和动作,所以有很多可迁移的东西。LIBERO 等基准提供程序化生成的操作任务套件,旨在把关于物体和空间布局的知识迁移与行为的迁移区分开来。终身学习不同于多任务学习(所有任务同时可用),也不同于在单个新任务上微调预训练模型,后者同样可能削弱早先的能力。

为何重要

家庭、仓库和实验室中的机器人在部署之后会遇到新任务。每次都在全部数据上从头重新训练代价高昂,而旧数据也未必会被保留。终身学习方法决定了机器人能否在增加一项新技能的同时,不会悄无声息地失去一项旧技能。

主要应用

  • 服务机器人和家用机器人在部署后学习新的家务
  • 把操作策略扩展到新的物体和工具
  • 让已部署的机器人群体适应新的场地和布局
  • 在任务套件上对持续模仿学习进行基准测试
  • 随时间为语言条件策略增加技能

实际应用

一个团队维护着一个操作策略,每隔几周就通过遥操作演示为它增加新任务。每次更新时,他们在新演示加上一个保存了部分早先演示的回放缓冲区上进行训练,然后在发布前对每个之前学过的任务重新运行评估。他们按任务和训练阶段记录一个成功率矩阵;如果某个早先任务的成功率下降,他们就扩大回放所占的比例或冻结网络的部分结构。同一个矩阵也能显示前向迁移:把新任务的学习速度与一个从头训练的策略进行比较。

常见误解

  • 终身学习只是在每个新任务上微调 — 朴素的顺序微调是通常会遗忘早先任务的基线;终身学习方法正是为防止这一点而存在的
  • 保留所有旧数据就能解决问题 — 这样可以避免遗忘,但成本随每个任务增长,而且严格设定假设早先数据有限或不可用
  • 终身学习与多任务学习是一回事 — 多任务学习同时在所有任务上训练,而终身学习是一个接一个地看到它们
  • 避免遗忘就是全部目标 — 前向迁移,即过去的任务让新任务学得更快,同样是其中的一部分

谁需要了解

  • 从事模仿学习和强化学习的机器人学习研究人员
  • 维护已部署机器人上的策略的机器学习工程师
  • 规划机器人如何获得新技能的服务机器人开发者
  • 设计机器人学习基准的研究人员

相关技术

  • 持续学习(Continual Learning)
  • 弹性权重巩固(Elastic Weight Consolidation)
  • 经验回放(Experience Replay)
  • 多任务学习(Multitask Learning)
  • 迁移学习(Transfer Learning)
  • LIBERO

相关术语

  • Imitation Learning
  • Behavior Cloning
  • Curriculum Learning
  • Goal-Conditioned Policy
  • Foundation Model
  • Reinforcement Learning

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
  • Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。