Loco-Manipulation

• 又稱: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
• 類別: Control › Locomotion control
• 標籤: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

協調運用機器人的行走運動與操作能力，讓移動身體與處理物體一起規劃與控制，而不是分成獨立的步驟。

定義

移動操作（loco-manipulation）是指機器人必須在環境中移動自身身體，同時或以緊密耦合的順序與物體進行物理互動的任務。例如人形機器人搬著箱子走上斜坡、裝有手臂的四足機器人打開一扇門並跨步穿過，或足式機器人推動推車。這個術語把行走運動（locomotion）與操作（manipulation）結合起來，以強調當機器人的基座會移動、且它與外界的接觸不斷改變時，兩者無法分開處理。

傳統的移動機器手臂操作（mobile manipulation）往往將問題解耦：把基座開到某個位置、停下，再使用手臂。移動操作則把整個身體視為一個系統。手或末端執行器施加的力會影響平衡、落腳位置與基座運動，而基座的運動反過來又會改變手臂能觸及的範圍。人形機器人舉起重物時必須移動其質心；四足機器人用一條前腿按按鈕時，就少了這條腿作為支撐。

方法大致分為兩類。以模型為基礎的方法使用全身控制與最佳化，例如針對接觸序列與質心動力學進行模型預測控制，在摩擦與扭矩限制下同時求解腳、手與軀幹的任務。以學習為基礎的方法則在模擬中以強化學習訓練策略，或從人類動作資料中學習，常將人類示範重定向到機器人的身體上。混合系統會把學習而得的行走運動策略，與針對操作目標的規劃器或以模型為基礎的控制器結合。

主要難點包括：規劃同時牽涉環境與被操作物體的接觸序列、在維持平衡的同時調節互動力，以及取得足夠多能呈現真實人-物互動的訓練資料。這類研究使用的平台包括人形機器人、裝有手臂的四足機器人，以及輪腿式機器人。

為何重要

居家、倉庫與災害現場的許多實用任務，都需要機器人在移動時搬運、推動、開啟或攀爬，而不只是行走或只是抓取。移動操作正是讓足式與人形機器人從移動平台，變成能在為人而建的空間中從事體力工作之機器的能力。

主要應用

• 人形機器人一邊行走一邊搬運、舉起與放置物體
• 裝有手臂的四足機器人開門、按按鈕與取回物品
• 推拉推車、手推車與重物
• 爬上家具、樓梯與其他場景元素並與之互動
• 工業現場或災害現場的巡檢與介入任務

實際應用

研究人形機器人或裝有手臂之四足機器人的團隊，通常會從一個可靠的行走運動控制器開始，再為它加入操作目標，可以是全身控制器中的額外任務，也可以是學習式策略的額外指令與獎勵。在模擬中，他們會將物體質量、摩擦與接觸位置隨機化，讓策略學會在意外負載下保持平衡。人類動作擷取或遠端操作資料常被重定向到機器人上，為搬起箱子或坐上家具等互動提供參考動作。在硬體上，工程師會以一系列不同的負載進行測試，並監看關節扭矩與足部接觸狀態，了解控制器在哪些地方以平衡換取任務表現。

常見誤解

• 移動操作只是在移動底座上用螺栓鎖一支手臂 — 其決定性特徵在於身體運動與互動力相互耦合，必須一起控制
• 好的行走運動控制器和好的操作控制器可以直接組合 — 操作產生的力會干擾平衡，需要協調的全身控制或聯合訓練
• 它只適用於人形機器人 — 裝有手臂的四足機器人、輪腿式機器人，以及用腿進行操作的機器人，都在同一個術語下研究

誰需要了解

• 人形與足式機器人研究人員
• 從事全身控制的控制工程師
• 為移動機器手臂操作訓練策略的機器人學習團隊
• 將手臂整合到四足機器人平台上的開發者

相關技術

• 全身控制（Whole-Body Control）
• 模型預測控制（Model Predictive Control）
• 強化學習（Reinforcement Learning）
• 動作重定向（Motion Retargeting）
• 質心動力學（Centroidal Dynamics）
• 接觸隱式最佳化（Contact-Implicit Optimization）

相關術語

• Whole-Body Control
• Locomotion
• Humanoid Robot
• Quadruped
• Dexterous Manipulation

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation