Inverse Dynamics Model

• 別名: IDM, inverse model, inverse dynamics
• カテゴリ: Learning & autonomy › RL & simulation
• タグ: dynamics, control, robot-learning, video-learning, model-based-control

システムを現在の状態から望む次の状態や加速度へ動かすのに必要な行動、たとえば関節トルクや制御指令を計算するモデル。

定義

逆ダイナミクスモデル（Inverse dynamics models）は、順モデルが答える問いの逆に答える。システムがいまどこにあり、次にどこにあるべきかが与えられたとき、どの行動でそこへ到達できるか、という問いである。形式的には、逆ダイナミクスモデルは現在の状態と望む次の状態、あるいは望む加速度を、その変化を生み出す行動へ写像する。

古典的なロボティクスでは、逆ダイナミクスとは、与えられた関節位置、速度、加速度を実現するのに必要な関節トルクを計算することを意味する。剛体ロボットでは、これは再帰的ニュートン-オイラー法（Recursive Newton-Euler Algorithm）で効率よく計算でき、その計算量は関節数に比例して増える。逆ダイナミクスは計算トルク制御とフィードフォワード補償の基礎である。コントローラは、アームが軌道に追従するのに必要なトルクを計算し、フィードバックは残りの誤差を補正するためだけに使う。脚ロボットの全身コントローラは、接触力も考慮した制約付きの逆ダイナミクスを解く。

ロボット学習では、逆ダイナミクスモデルは通常、記録された遷移で学習したニューラルネットワークであり、連続する二つの観測の間にとられた行動を予測する。これにはいくつかの用途がある。生成された動画フレームのような予測された将来の観測を、ロボットが実行できる行動に変換できる。行動が記録されていない動画について、どの行動がとられたはずかを推定することでラベルを付けられる。また、学習される表現がエージェントの制御できるものを捉えるよう促す補助的な学習目標としても役立つ。

異なる行動が同じ結果を生む場合や、望む次の状態に 1 ステップで到達できない場合、逆モデルは不良設定になりうるため、実用的なシステムでは過去の状態やより長いホライズンといった文脈を加えることが多い。

重要な理由

逆ダイナミクスは、産業用アームの計算トルク制御からヒューマノイドの全身制御まで、ロボットが計画した運動をそれを生み出す力や指令に変える方法である。ロボット学習では、逆ダイナミクスモデルが予測と行動を結び付け、動画や将来状態の予測で学習したシステムが実際にロボットを制御できるようにする。

主な用途

• ロボットアームの計算トルク制御とフィードフォワード制御
• ヒューマノイドや脚ロボットの全身制御
• 予測された将来の観測を実行可能な行動に変換すること
• 行動ラベルのない動画データセットに対する行動ラベルの推定
• 制御のための自己教師あり表現学習

実際の使われ方

正確な URDF を持つロボットアームでは、エンジニアは Pinocchio などのライブラリやメーカーの制御装置で逆ダイナミクスを計算し、得られたトルクをフィードフォワードとして与え、摩擦やモデル化されていない負荷はゲインを下げたフィードバックループに任せる。モデルが不確かな場合は、まず慣性パラメータを同定するか、その上に残差補正を学習させる。学習パイプラインでは、チームは記録された行動付きのロボット軌道で小さな逆ダイナミクスネットワークを学習させ、それを使って行動の付いていないより大量の動画の行動を推定したり、モデルが予測した次のフレームを指令に変換したりすることがある。検証は、学習に使わなかったデータで推定した行動と記録された行動を比較して行う。

よくある誤解

• 逆ダイナミクスは逆運動学と同じである — 逆運動学は望む姿勢に対する関節位置を求め、逆ダイナミクスは望む運動を生み出すのに必要な力やトルクを求める
• 逆ダイナミクスモデルは完全なポリシーである — 与えられた次の状態に到達する方法は示すが、どの状態を目指すかは別の何かが決めなければならない
• 逆ダイナミクスの答えは常に一意である — 冗長なロボット、接触、多ステップの目標によって、複数の行動が同等に妥当になりうる

知っておくべき人

• アームや脚ロボットに取り組むロボット制御エンジニア
• 動画や世界モデルを使うロボット学習の研究者
• ヒューマノイドの全身制御の開発者
• ダイナミクスを学ぶロボティクスの学生

関連技術

• 再帰的ニュートン-オイラー法（Recursive Newton-Euler Algorithm）
• Pinocchio
• 計算トルク制御（Computed-Torque Control）
• 全身制御（Whole-Body Control）
• 順ダイナミクスモデル（Forward Dynamics Model）
• 世界モデル（World Model）

関連用語

• Imitation Learning
• Torque Control
• Forward Dynamics Model

関連プロジェクト

• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
• robosuite: Modular MuJoCo simulation framework for robot learning research
• LIBERO: Lifelong robot learning benchmark with 130 procedural tasks

動画

• Modern Robotics, Chapter 8.3: Newton-Euler Inverse Dynamics: Northwestern Robotics