Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Lifelong Robot Learning

  • 別名: continual robot learning, lifelong learning
  • カテゴリ: Learning & autonomy › Learning from demonstration
  • タグ: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning

ロボットが 1 つのモデルで時間をかけて一連のタスクを習得し、以前のスキルを保ちつつ、それを再利用して新しいタスクをより速く学ぶことを目指す学習設定。

定義

ロボットの生涯学習(Lifelong robot learning)は、固定されたデータセットで一度だけ学習するのではなく、タスクを次々にこなしながら学習を続けるロボットを研究する分野である。Sebastian Thrun と Tom Mitchell は 1990 年代半ばにこの用語を使い、多くの関連タスクに直面するロボットは、以前のタスクで得た知識を後のタスクに持ち込み、それによって各タスクに必要な例を減らすべきだと論じた。厳密な現代の定式化では、単一のポリシーがタスクを順に学習し、新しいタスクを学ぶ間は以前のタスクのデータにアクセスできない。

中心的な難しさは破滅的忘却である。新しいデータでニューラルネットワークを学習させると、以前のタスクが頼っていた重みが変わり、それらのタスクの性能が落ちる。手法は大きく 3 つの系統に分かれる。リプレイは、以前のデモンストレーションや経験を小さなバッファに残し、学習に混ぜる。正則化は、elastic weight consolidation のように、以前のタスクにとって重要だったパラメータの変化にペナルティを課す。アーキテクチャ型の手法は、PackNet のように各タスクに専用のパラメータやサブネットワークを与えたり、時間とともに新しいモジュールを追加したりする。結果は、前方転移(過去の学習が新しいタスクの学習を速めるか)、後方転移(新しい学習が古いタスクを損なうか助けるか。負の値は忘却を意味する)、そしてこれまでに見たすべてのタスクでの総合的な成功率で報告される。

ロボティクスでは、この問題はより難しく、同時により有望でもある。ロボットのデータは高価なので再利用が重要であり、タスク同士は物体、シーン、動作を共有するので、転移できるものが多い。LIBERO などのベンチマークは、手続き的に生成されたマニピュレーションのタスク群を提供し、物体や空間配置に関する知識の転移と、行動の転移とを切り分けられるように設計されている。生涯学習は、すべてのタスクが一度に利用できるマルチタスク学習とも、事前学習済みモデルを単一の新しいタスクでファインチューニングすること(これも以前の能力を損ないうる)とも異なる。

重要な理由

家庭、倉庫、研究室のロボットは、配備された後で新しいタスクに出会う。そのたびに全データでゼロから学習し直すのはコストが高く、古いデータが残っているとも限らない。生涯学習の手法は、ロボットが古いスキルを知らないうちに失うことなく新しいスキルを追加できるかどうかを左右する。

主な用途

  • 配備後に新しい家事を覚えるサービスロボットや家庭用ロボット
  • マニピュレーションポリシーの新しい物体や道具への拡張
  • 配備済みロボットフリートの新しい現場やレイアウトへの適応
  • タスク群での継続的な模倣学習のベンチマーク
  • 言語条件付きポリシーへの時間をかけたスキルの追加

実際の使われ方

あるチームは、数週間ごとに遠隔操作によるデモンストレーションから新しいタスクを加えるマニピュレーションポリシーを保守している。更新のたびに、新しいデモンストレーションと、以前のデモンストレーションの一部を保持するリプレイバッファとで学習し、リリース前にこれまで学習したすべてのタスクで評価をやり直す。タスクと学習段階ごとの成功率の行列を記録し、以前のタスクの成功率が下がれば、リプレイの割合を増やすか、ネットワークの一部を凍結する。同じ行列は、新しいタスクの学習の速さをゼロから学習したポリシーと比べることで、前方転移も示す。

よくある誤解

  • 生涯学習とは新しいタスクごとにファインチューニングすることにすぎない — 素朴な逐次ファインチューニングは、たいてい以前のタスクを忘れてしまうベースラインであり、生涯学習の手法はそれを防ぐためにある
  • 古いデータをすべて残せば問題は解決する — 忘却は避けられるが、コストはタスクごとに増え、厳密な設定では以前のデータは限られているか利用できないと仮定する
  • 生涯学習はマルチタスク学習と同じである — マルチタスク学習はすべてのタスクで同時に学習するが、生涯学習はタスクを 1 つずつ順に見る
  • 忘却を避けることがすべての目標である — 過去のタスクによって新しいタスクを速く学べるようになる前方転移も、同じく目標の一部である

知っておくべき人

  • 模倣学習と強化学習に取り組むロボット学習の研究者
  • 配備済みロボットのポリシーを保守する機械学習エンジニア
  • ロボットに新しいスキルを身につけさせる方法を計画するサービスロボットの開発者
  • ロボット学習のベンチマークを設計する研究者

関連技術

  • 継続学習(Continual Learning)
  • Elastic Weight Consolidation
  • 経験リプレイ(Experience Replay)
  • マルチタスク学習(Multitask Learning)
  • 転移学習(Transfer Learning)
  • LIBERO

関連用語

  • Imitation Learning
  • Behavior Cloning
  • Curriculum Learning
  • Goal-Conditioned Policy
  • Foundation Model
  • Reinforcement Learning

関連プロジェクト

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
  • OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
  • Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。