PACE Sim2Real

アクチュエータのダイナミクス同定による体系的なsim-to-real転移

ライセンス

Apache-2.0

概要

PACE（Precise Adaptation through Continuous Evolution）は、ETH チューリッヒの Robotic Systems Lab による、脚式ロボットの sim-to-real 転移を改善するためにアクチュエータと関節のダイナミクスを同定する体系的なフレームワークです。標準的な関節エンコーダだけを使い、モーターのダイナミクス、摩擦、減衰、関節のコンプライアンスといった、現実とのギャップを最もよく生むパラメータを同定します。ハードウェアに依存しない手法で、複数の四足ロボットで検証されており、sim-to-real での性能低下を大きく減らします。

PACE（Precise Adaptation through Continuous Evolution）は、脚式ロボットのsim-to-realギャップに取り組む、ETH チューリッヒのRobotic Systems Labによるフレームワークです。標準的な関節エンコーダだけを使ってアクチュエータと関節のダイナミクスパラメータを同定する体系的な手法を提供し、そのパラメータを使ってより忠実なシミュレーションを作り出します。

中核となる手法は、データ駆動の系同定とCMA-ESによる進化的最適化の組み合わせです。実機で簡単な動作軌道を記録することで、PACEは摩擦、減衰、アクチュエータの応答特性といった物理的に意味のあるパラメータを学習します。これらのパラメータをNVIDIA Isaac Labのシミュレーション環境に適用することで、ポリシーの転移が劇的に改善します。

PACEはANYmalをはじめとする実際の四足歩行ロボットで検証されており、強化学習で学習したポリシーをシミュレーションから実機へ移す際に、歩行性能の測定可能な向上が示されています。フレームワークは特定のプラットフォームに依存しない設計で、複数のロボット構成とアクチュエータの種類に対応しています。

重要な理由

PACEは、学習した歩行ポリシーを展開するうえで最大のボトルネックの一つである、シミュレーションと実機の間のリアリティギャップに取り組みます。標準的な関節エンコーダだけでアクチュエータのダイナミクスを同定する体系的なデータ駆動の手法を提供することで、高価なセンサー構成なしに高忠実度のsim-to-real転移を実現できるようにします。

解決する課題

シミュレーションで学習した強化学習ポリシーは、シミュレータがアクチュエータのダイナミクス、摩擦、関節の挙動を十分にモデル化できていないために、実機ではうまく動かないことがよくあります。PACEは、実機のデータから物理的に意味のあるダイナミクスパラメータを学習し、それをシミュレーションに反映することで、転移の忠実度を大きく高めます。

主なポイント

• CMA-ESによる進化的最適化でアクチュエータと関節のダイナミクスパラメータを同定
• 標準的な関節エンコーダだけで動作し、追加のセンサーは不要
• NVIDIA Isaac Labと直接統合され、シームレスなsim-to-realワークフローを実現
• 複数のロボットプラットフォームとアクチュエータの種類に標準で対応
• ETH チューリッヒのRobotic Systems Labが開発し、実際の四足歩行ロボットで検証

対象

• 歩行制御とsim-to-real転移に取り組む脚式ロボットの研究者
• シミュレーションで学習したポリシーを実機に展開する強化学習の実践者
• シミュレーションの忠実度を高めるために正確なアクチュエータモデルを必要とするロボットエンジニア
• sim-to-realパイプラインを改善したいNVIDIA Isaac Labのユーザー

制限事項

• すべての機能を使うにはNVIDIA Isaac Lab（およびIsaac Sim 5.0以降）が必要
• 現在は脚式ロボットが中心で、他の種類のロボットへの適用は検証されていない
• Isaac SimのGPU要件により、一般向けハードウェアでは利用が難しい場合がある
• パラメータ同定の前に、まず実機の動作データを収集する必要がある