Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

著者: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ジャーマン・シェパードの 4.5 s のモーションキャプチャから敵対的に学習したスタイル報酬が、手作業で設計した報酬を置き換え、より低い移動コストで実機の A1 四脚ロボットへ転移する。

重要な理由

sim-to-real の脚移動では、報酬の調整がエンジニアリング作業の大きな部分を占める。本論文は、実際の四脚ロボットにおいて、数秒の参照動作が 13 項からなる手作業で設計したスタイル報酬の代わりになり、しかも方策は指令速度に追従するために必要に応じてクリップから外れ、速度に応じて歩容を変えることを示している。

課題

十分に規定されていない報酬で学習した脚移動の強化学習エージェントは、手足を振り回す、脚を振動させる、高い撃力の接触をするといった、シミュレータの不正確さを悪用し実ロボットでは動かせない行動を学習することが多い。通常の対処法は複雑な手作業で設計したスタイル報酬であり、これには相当なドメイン知識と繊細な調整が必要で、1 つのプラットフォームとタスクに特化しがちである。

提案手法

著者らは、コンピュータグラフィックスの Adversarial Motion Priors（AMP）を適用する。最小二乗 GAN の目的関数と勾配ペナルティで学習した識別器が、モーションキャプチャデータセットの状態遷移と方策が生成した遷移を見分けることを学習し、その出力がスタイル報酬となって、速度追従のタスク報酬に加えられる（重みは 0.65 と 0.35）。合計 4.5 秒のジャーマン・シェパードのクリップを逆運動学で A1 ロボットにリターゲットし、方策（30 Hz で目標関節角を出力し、PD 制御器で追従）を、ドメインランダム化を施した 5,280 の Isaac Gym 環境で PPO により学習させてから、ハードウェアに展開する。

主な知見

  • 4.5 s のモーションキャプチャから敵対的に学習したスタイル報酬は、13 項からなる手作業で設計したスタイル報酬を置き換えることができ、それでも実際の四脚ロボットに展開できる方策が得られる。
  • 識別器は特定のクリップを追従するのではなく状態遷移を評価するため、方策は参照データに現れない速度指令にも従える。
  • モーション事前分布で学習した方策は指令速度に応じて歩容を変える（0.8 m/s でペース、1.7 m/s でトロット、指令が 1 m/s から 2 m/s に上がるとペースからキャンターに切り替わる）。著者らはこれを、動物がエネルギー消費を下げる仕方と関連づけている。
  • スタイル報酬がない場合、方策は足を高速かつ大トルクで振動させることで不正確なシミュレータのダイナミクスを悪用する。速度にはよく追従するが、動きが激しすぎて実機では動かせない。
  • 著者らは、移動コストの低さを、犬のモーションデータにすでに含まれているエネルギー効率の高い戦略によるものとしている。

主な結果

  • シミュレーションにおける機械的な移動コスト（Table II）、指令速度 0.4、0.8、1.2、1.6 m/s：AMP 報酬で 1.07、0.93、1.02、1.12、複雑なスタイル報酬で 1.54、1.37、1.40、1.41。本文は複雑な報酬の範囲を 1.37 から 1.65 としており、表の最大値 1.54 と一致しない。
  • スタイル報酬なしでは、同じ 4 つの速度で移動コストは 14.03、8.00、6.05、5.18 であり、これは大きなトルクとモータ速度によるものである。
  • 0.4/0.8/1.2/1.6 m/s の指令に対して測定された前進速度：AMP で 0.36/0.77/1.11/1.52 m/s、複雑な報酬で 0.41/0.88/1.28/1.67 m/s、スタイル報酬なしで 0.42/0.82/1.22/1.61 m/s。
  • 学習には単一の Tesla V100 GPU で 16 時間、40 億環境ステップ（約 4.2 年分のシミュレーションデータ）を要した。
  • 実機の A1 で、AMP 方策は正弦波状の並進速度と角速度の指令に追従し、急カーブのあるルートを進み、指令が 1 m/s から 2 m/s に上がるとペースからキャンターに切り替えた。

制限事項

  • 論文には制限事項の節がない。実ロボットでの評価は定性的であり（歩容図、速度の推移、移動コストのプロット、ルート追従の例）、ハードウェアで測定した成功率やエネルギーの表はない。
  • Table II の移動コストと速度追従の数値はすべてシミュレーションによるものである。
  • 参照データは 1 頭のジャーマン・シェパードの 4.5 s の動作（ペース、トロット、キャンター、その場での旋回）で、1 つのロボット A1 にのみリターゲットされている。他のロボットやスキルはテストされていない。
  • シミュレーションでは、AMP 方策はテストしたすべての指令で、前進速度が指令値をわずかに下回る（例えば 1.6 m/s の指令で 1.52 m/s）。

分野への影響

IROS 2022 Best Paper Award と ABB Best Student Paper Award のファイナリストで、被引用数は 210。論文は動画付きのプロジェクトページとプロジェクトのリポジトリを示しており、リポジトリからコード github.com/Alescontrela/AMP_for_hardware にリンクされている。

概要

十分に規定されていない報酬関数で高次元のシミュレーション上のエージェントを学習させると、エージェントは物理的に実現不可能な戦略を学習することが多く、それは実世界に展開したときに役に立たない。こうした不自然な行動を抑えるため、強化学習の実務者はしばしば、物理的にもっともらしい行動を促す複雑な報酬関数を用いる。しかし、手作業で設計した報酬を作るには、面倒で労力のかかる調整プロセスが必要になることが多く、そうした報酬はプラットフォームやタスクをまたいで容易に一般化しない可能性がある。我々は、複雑な報酬関数を、モーションキャプチャのデモンストレーションのデータセットから学習した「スタイル報酬」で置き換えることを提案する。学習したスタイル報酬は任意のタスク報酬と組み合わせることができ、自然な戦略でタスクを遂行する方策を学習させられる。こうした自然な戦略は実世界への転移も容易にする。我々は、参照動作のデータセットからスタイル報酬を符号化するコンピュータグラフィックス分野の手法である Adversarial Motion Priors を土台として、方策を敵対的に学習させるアプローチにより、複雑な報酬関数を必要とせずに実際の四脚ロボットへ転移する行動を生み出せることを示す。また、ジャーマン・シェパードから収集した数秒のモーションキャプチャデータから有効なスタイル報酬を学習でき、それが自然な歩容遷移を伴うエネルギー効率の高い移動戦略につながることも示す。

リンク

  • arXiv 2203.15103: https://arxiv.org/abs/2203.15103
  • DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
  • PDF: https://arxiv.org/pdf/2203.15103v1
  • コード: https://github.com/escontra/AMP_for_hardware
  • プロジェクトページ: https://sites.google.com/berkeley.edu/amp-in-real/home

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。