Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

著者: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

脚式ロボット向けの一つの RL ポリシーが位置指令と力指令を受け付け、関節の履歴から外力を推定することで、力センサーなしにコンプライアントな制御と力を考慮した模倣学習を実現する。

重要な理由

位置追従、力制御、力追従、インピーダンス制御は、指令を選ぶだけで一つのポリシーから得られ、モードごとの制御器や再学習は不要である。力は固有受容感覚から推定されるため、力センサーを搭載していない脚式ロボットでも、接触を考慮したデモンストレーションを収集できる。

課題

接触の多いロコマニピュレーションでは接触力とロボットの位置を併せてモデル化する必要があるが、脚式マニピュレータには通常、力を計測するハードウェアがない。RL による全身制御器の多くは精密な位置制御に頼っており、大規模な模倣学習データセットは軌道しか記録していない。著者らは、そのような軌道のみのデータでは、黒板を拭くといった基本的な接触タスクにさえ不十分であることを示している。

提案手法

著者らは、エンドエフェクタの挙動を簡略化したインピーダンス則 x_target = x_cmd + (F_ext + F_cmd − F_react)/K で、ベースの挙動をそれと等価な速度の形でモデル化し、ランダムにサンプリングした位置・速度・力の指令と最大 60 N の外乱力を用いて、Isaac Gym で一つの PPO ポリシーを学習する。ポリシーは 32 ステップの観測履歴を符号化し、状態推定器を用いて外力、エンドエフェクタの位置、ベース速度を予測し、PD 制御器に関節位置目標を出力する。遠隔操作の間、推定された力は RGB 画像とロボットの状態とともに記録され、拡散ベースの模倣ポリシーが、下位のポリシーに向けて位置指令と力指令の両方を出力するよう学習する。

主な知見

  • 位置制御、力制御、インピーダンス制御、力追従、位置と力のハイブリッド制御は、いずれも位置指令と力指令を設定することで一つの式から導かれ、モードごとの追加学習は必要ない。
  • 2 段階のカリキュラム（まず全身でのリーチングと移動、次にランダムな力指令と外乱）は、1 段階よりも安定して学習できた。
  • 純粋に位置ベースの全身制御より低い PD ゲインは力推定を改善したが、ゲインが低すぎると位置追従の精度が下がった。
  • ベースでは、外力は速度によって補償される。G1 ヒューマノイドロボットは速度指令と逆向きに押されると停止して体を傾け、B2 は指令ゼロの状態で蹴られると前に歩く。
  • 推定された力は、ストロークが 3 mm のプッシュオープン式キャビネットや、タスク中に隠れてしまう引き出しの前面など、視覚が役に立たない場面で最も効果を発揮する。

主な結果

  • 力を考慮した模倣と、力を用いない同じパイプラインとの比較（タスクあたり 50 試行、Table A.3）：wipe-blackboard 0.58 対 0.22、open-cabinet 0.70 対 0.36、close-cabinet 0.72 対 0.30、open-drawer-occlusion 0.76 対 0.30 で、平均で約 39.5% 高い成功率。
  • アブストラクトと Section 4.2 は 39.5% の向上を四つのタスクによるものとしているが、序論の貢献リストでは三つのタスクとされている。
  • シミュレーション：対応する力指令の有無にかかわらず、エンドエフェクタの追従誤差はおおむね 0.1 m 以内に収まり、エンドエフェクタの位置推定誤差はすべての軸で 0.05 m 以内に収まる。
  • 実ロボットでの 0 N から 60 N までの力制御を、五つのエンドエフェクタ位置で動力計を用いて測定：平均誤差は 10 N 以内。六つのレベルでの力推定：誤差は 5–10 N。Unitree Z1 のハードウェアの制約のため、Y 軸と Z 軸は 40 N までしか試験していない。
  • エンドエフェクタに 2.5 kg のダンベルを付けた場合、25 N の上向きの力指令でその場に保持できる。指令がないとエンドエフェクタは下がる。
  • デモンストレーション：wipe-blackboard は 50 本の軌道（学習 30k ステップ）、キャビネットと引き出しの各タスクは 30 エピソード（20k ステップ）。

制限事項

  • 高周波の相互作用やロボットの作業領域の端では、力推定の精度が低下する。
  • 軸ごとの力の精度には、特に Y 軸でシミュレーションと実機のギャップが残っており、著者らはこれをアクチュエータのダイナミクスと接触モデリングの不一致によるものとしている。
  • 力は単一の相互作用点で推定され、エンドエフェクタとベースは独立に扱われる。多点および全身での力の相互作用は今後の課題とされている。
  • インピーダンスモデルは減衰項と慣性項を省いており、拭き取りや綱引きのような準静的なタスクには適しているが、動的なスキルにはより高い制御周期と速度項・加速度項が必要となる。
  • B2 のワイヤレスコントローラを用いた遠隔操作によるデータ収集は遅く、拭き取りの試行 1 回あたり約 20 s、キャビネットの試行 1 回あたり約 10 s を要した。

分野への影響

本論文は CoRL 2025 Best Paper Award を受賞し、被引用数は 35 である。プロジェクトウェブサイト unified-force.github.io を示しているが、論文本文にはコード公開についての記載がない。

概要

ロボットのロコマニピュレーション（loco-manipulation）は、環境との接触の多い相互作用を伴うことが多く、接触力とロボットの位置を併せてモデル化する必要がある。しかし、近年の視覚運動ポリシーは位置制御か力制御のどちらかの学習のみに注目しがちで、両者を共に学習することを見落としている。我々は、力センサーに頼らずに学習され、力制御と位置制御を併せてモデル化する、脚式ロボットのための初の統一ポリシーを提案する。位置指令と力指令の多様な組み合わせを外乱力とともにシミュレートすることで、強化学習を用いて、ロボットの過去の状態から力を推定し、位置と速度の調整によってそれを補償するポリシーを学習する。このポリシーは、位置追従、力の印加、力追従、コンプライアントな相互作用など、さまざまな力と位置の入力の下で幅広いマニピュレーション動作を可能にする。さらに、学習したポリシーが力推定モジュールを通じて不可欠な接触情報を取り込むことで、軌道ベースの模倣学習パイプラインを強化し、四つの困難な接触の多いマニピュレーションタスクにおいて、位置制御ポリシーより約 ∼39.5% 高い成功率を達成することを示す。四足マニピュレータとヒューマノイドロボットの両方での実験により、提案するポリシーの多様な状況における汎用性とロバスト性を検証する。

リンク

  • arXiv 2505.20829: https://arxiv.org/abs/2505.20829
  • PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
  • プロジェクトページ: https://unified-force.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。