Loco-Manipulation

• 別名: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
• カテゴリ: Control › Locomotion control
• タグ: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

ロボットのロコモーション能力とマニピュレーション能力を協調させて使うこと。身体の移動と物体の扱いを、別々の段階としてではなく一緒に計画し制御する。

定義

ロコマニピュレーション（loco-manipulation）は、ロボットが環境の中で自らの身体を動かすことと、物体に物理的に働きかけることを、同時に、あるいは密接に結びついた順序で行わなければならないタスクを指す。例としては、箱を持ってスロープを上るヒューマノイド、ドアを開けてそこを通り抜けるアーム付き四脚ロボット、カートを押す脚型ロボットなどがある。この用語はロコモーション（locomotion）とマニピュレーション（manipulation）を組み合わせたもので、ロボットのベースが移動し、外界との接触が変わり続ける場合には、両者を独立に扱えないことを強調している。

古典的なモバイルマニピュレーション（mobile manipulation）は、問題を分離することが多い。ベースをある位置まで走らせて停止し、それからアームを使う。これに対しロコマニピュレーションは、身体全体を 1 つのシステムとして扱う。手やエンドエフェクタが加える力はバランス、足の接地位置、ベースの運動に影響し、ベースの運動はまた、アームが届く範囲を変える。重い物体を持ち上げるヒューマノイドは重心を移さなければならず、前脚でボタンを押す四脚ロボットはその脚を支持脚として使えなくなる。

アプローチは大きく 2 つの系統に分かれる。モデルベースの手法は、接触系列と重心ダイナミクスに対するモデル予測制御のような全身制御と最適化を用い、摩擦とトルクの制限のもとで足、手、胴体のタスクをまとめて解く。学習ベースの手法は、シミュレーションで強化学習によりポリシーを学習させるか、人間の動作データから学習し、多くの場合、人間のデモンストレーションをロボットの身体にリターゲットする。ハイブリッドなシステムは、学習したロコモーションポリシーと、マニピュレーションの目標のためのプランナやモデルベースのコントローラを組み合わせる。

主な難しさとしては、環境と操作対象の物体の両方が関わる接触の系列を計画すること、バランスを保ちながら相互作用力を調整すること、そして現実的な人と物体のインタラクションを捉えた十分な学習データを得ることが挙げられる。この研究に使われるプラットフォームには、ヒューマノイドロボット、アームを取り付けた四脚ロボット、車輪脚型ロボットがある。

重要な理由

家庭、倉庫、災害現場での有用なタスクの多くは、ロボットが歩くだけ、あるいはつかむだけでなく、移動しながら運ぶ、押す、開ける、よじ登ることを必要とする。ロコマニピュレーションは、脚型ロボットやヒューマノイドロボットを、移動プラットフォームから、人のために作られた空間で物理的な作業をこなせる機械へと変える能力である。

主な用途

• 歩きながら物体を運び、持ち上げ、置くヒューマノイドロボット
• ドアを開け、ボタンを押し、物を取ってくるアーム付き四脚ロボット
• カート、台車、重い物体を押したり引いたりすること
• 家具、階段、その他のシーン要素に上り、それらとインタラクションすること
• 産業現場や災害現場での点検・介入タスク

実際の使われ方

ヒューマノイドやアーム付き四脚ロボットに取り組むチームは、通常、信頼できるロコモーションコントローラから出発し、それにマニピュレーションの目的を加える。全身コントローラの追加タスクとして加える場合もあれば、学習ポリシーへの追加の指令と報酬として加える場合もある。シミュレーションでは、物体の質量、摩擦、接触位置をランダム化し、ポリシーが予期しない負荷のもとでもバランスを保つことを学ぶようにする。箱を持ち上げる、家具に座るといったインタラクションの参照動作を得るため、人間のモーションキャプチャや遠隔操作のデータをロボットにリターゲットすることも多い。実機では、エンジニアがさまざまな可搬重量でテストし、関節トルクと足の接触状態を監視して、コントローラがどこでバランスとタスク性能を引き換えにしているかを確認する。

よくある誤解

• ロコマニピュレーションは移動ベースにアームをボルトで取り付けただけのものである — 決定的な特徴は、身体の運動と相互作用力が結合しており、一緒に制御しなければならないことである
• 優れたロコモーションコントローラと優れたマニピュレーションコントローラは単純に組み合わせられる — マニピュレーションによる力はバランスを乱すため、協調した全身制御や同時学習が必要になる
• ヒューマノイドにしか当てはまらない — アーム付き四脚ロボット、車輪脚型ロボット、脚でマニピュレーションを行うロボットも、すべて同じ用語のもとで研究されている

知っておくべき人

• ヒューマノイドロボットや脚型ロボットの研究者
• 全身制御に取り組む制御エンジニア
• モバイルマニピュレーションのためのポリシーを学習させるロボット学習チーム
• 四脚プラットフォームにアームを統合する開発者

関連技術

• 全身制御（Whole-Body Control）
• モデル予測制御（Model Predictive Control）
• 強化学習（Reinforcement Learning）
• モーションリターゲティング（Motion Retargeting）
• 重心ダイナミクス（Centroidal Dynamics）
• 接触陰的最適化（Contact-Implicit Optimization）

関連用語

• Whole-Body Control
• Locomotion
• Humanoid Robot
• Quadruped
• Dexterous Manipulation

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation