Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Forward Dynamics Model

  • 別名: forward model, dynamics model, transition model
  • カテゴリ: Learning & autonomy › RL & simulation
  • タグ: dynamics, model-based-control, model-based-rl, simulation, prediction

現在の状態と加えた行動から、システムの状態がどう変わるかを予測するモデルで、ロボットが行動を起こす前にその効果をシミュレートできるようにする。

定義

順ダイナミクスモデル（Forward dynamics models）は、システムの現在の状態とそれに加えられる行動から、次の状態を予測する。簡潔に書けば、状態と行動を次の状態、または状態の変化率へ写像する。「こうしたら何が起きるか」という問いに答えるものであり、シミュレーション、モデルベース計画、モデルベース強化学習の中核となる要素である。

古典的なロボティクスでは、順ダイナミクスには厳密な意味がある。剛体ロボットの関節位置、速度、トルクが与えられたとき、その結果生じる関節加速度を計算することである。これは運動方程式から、慣性行列とコリオリ項、遠心力項、重力項を用いて求められ、articulated body algorithm などのアルゴリズムで効率よく計算される。MuJoCo、PyBullet、Drake などの物理シミュレータは、この計算を中心に構築され、時間方向に前進積分される。

ロボット学習では、順ダイナミクスモデルは導出されるのではなく、データから学習されることが多い。ニューラルネットワークを記録された遷移で学習させ、現在の状態と行動から次の状態、またはその潜在表現を予測させる。学習されたモデルは、不整地での車輪のスリップ、ケーブルや布の変形、知覚に駆動されるシステム全体の応答など、手でモデル化するのが難しい効果を捉えられる。状態が画像や学習された埋め込みである場合、同じ考え方は通常、世界モデルと呼ばれる。

プランナーは、行動系列をサンプリングまたは最適化し、それをモデルでロールアウトして予測結果を評価することで順モデルを利用する。主な弱点は誤差の累積である。1 ステップの小さな誤りが長い予測ホライズンにわたって大きくなり、プランナーがモデルの不正確な部分を突いてしまうこともある。

重要な理由

自分の行動の結果を予測して計画するロボットには、物理から導出したものであれデータから学習したものであれ、順ダイナミクスモデルが必要である。このモデルの精度が、ロボットがどれだけ先まで確実に計画できるか、そして見たことのない状況でどれだけ安全に行動できるかを決める。

主な用途

  • 剛体ロボットの物理シミュレーション
  • モデル予測制御とサンプリングベースの計画
  • モデルベース強化学習
  • 不整地や変形する地形でのロボットの運動予測
  • 画像からの計画に用いる動画予測モデルや潜在予測モデル

実際の使われ方

剛体のロボットアームでは、チームは通常、物理エンジンや Pinocchio、Drake などのライブラリから順ダイナミクスを取得し、同定した質量と慣性を持つ URDF を用いる。混在地形を走る地上ロボットのようにモデル化が難しいシステムでは、遠隔操作または自律走行中に状態、行動、センサのデータを記録し、将来の状態を予測するようにニューラルネットワークを学習させ、計画ホライズンにわたって予測軌道と実際の軌道を比較することで、学習に使わなかった走行データで検証する。学習したモデルは MPPI のようなサンプリングベースのコントローラに組み込まれ、コントローラはモデルを通して多数の候補行動系列をロールアウトし、最良のものを選ぶ。予測誤差がホライズン長に応じてどう変わるかをエンジニアは追跡する。それによって、コントローラが有効に計画できる先の長さが決まるからである。

よくある誤解

  • 順ダイナミクスと逆ダイナミクスは交換可能である — 順ダイナミクスは行動をその結果生じる運動へ写像し、逆ダイナミクスは望む運動をそれを生み出す行動へ写像する
  • 1 ステップの予測がよいモデルは計画もうまくいく — 誤差は多ステップのロールアウトで累積し、プランナーはモデルの不正確さを突きうる
  • 順ダイナミクスモデルは常に学習される — 古典的なロボティクスでは、ロボットの運動方程式から解析的に導出される

知っておくべき人

  • モデルベースの制御・計画エンジニア
  • モデルベース強化学習（RL）や世界モデルに取り組むロボット学習の研究者
  • シミュレーションの開発者
  • 地形との相互作用をモデル化するフィールドロボティクスのチーム

関連技術

  • MuJoCo
  • Pinocchio
  • Drake
  • Model Predictive Path Integral（MPPI）
  • Articulated Body Algorithm
  • 世界モデル（World Model）

関連用語

  • World Model
  • Inverse Dynamics Model
  • Model Predictive Control

関連プロジェクト

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • RLinf: Scalable infrastructure for post-training foundation models via RL
  • Webots: Cross-platform robot simulator with built-in models, sensors, and development environment
  • NVIDIA Isaac Sim: NVIDIA Omniverse app for AI-driven robot simulation and testing

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。