Loco-Manipulation

• 又称: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
• 类别: Control › Locomotion control
• 标签: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

协调使用机器人的运动能力和操作能力，在这种方式中，移动身体与处理物体是一起规划和控制的，而不是作为分开的步骤。

定义

移动操作（loco-manipulation）指机器人必须在环境中移动自身身体、同时或以紧密耦合的顺序与物体进行物理交互的任务。例如，人形机器人搬着箱子走上坡道，带机械臂的四足机器人打开一扇门并跨步穿过，或足式机器人推动一辆推车。这个术语把运动（locomotion）与操作（manipulation）合在一起，以强调当机器人的基座可移动、且它与外界的接触不断变化时，两者不能被独立处理。

经典的移动机械臂操作（mobile manipulation）往往把问题解耦：把基座开到某个位置，停下，再使用机械臂。移动操作则把整个身体视为一个系统。手或末端执行器施加的力会影响平衡、落脚位置和基座运动，而基座的运动反过来又改变了手臂能够到达的范围。人形机器人举起重物时必须转移其质心；四足机器人用一条前腿按按钮时，就失去了这条腿作为支撑。

方法大体分为两类。基于模型的方法使用全身控制和优化，例如在接触序列和质心动力学上进行模型预测控制，在摩擦和力矩限制下同时求解脚、手和躯干的任务。基于学习的方法在仿真中用强化学习训练策略，或从人类运动数据中学习，常常将人类示教重定向到机器人的身体上。混合系统则把学习得到的运动策略与针对操作目标的规划器或基于模型的控制器结合起来。

主要难点包括：规划同时涉及环境和被操作物体的接触序列，在保持平衡的同时调节交互力，以及获取足够多能反映真实人-物交互的训练数据。用于这类工作的平台包括人形机器人、装有机械臂的四足机器人以及轮腿式机器人。

为何重要

家庭、仓库和灾害现场中的许多有用任务，要求机器人在移动的同时搬运、推动、打开或攀爬，而不只是行走或只是抓取。移动操作正是这样一种能力：它让足式和人形机器人从移动平台变成能在为人建造的空间中完成体力工作的机器。

主要应用

• 人形机器人在行走时搬运、举起和放置物体
• 带机械臂的四足机器人开门、按按钮和取回物品
• 推拉推车、手推车和重物
• 攀上家具、楼梯和其他场景元素并与之交互
• 工业现场或灾害现场的巡检与干预任务

实际应用

研究人形机器人或带机械臂四足机器人的团队，通常从一个可靠的运动控制器出发，再往其中加入操作目标，要么作为全身控制器中的额外任务，要么作为学习型策略的额外指令和奖励。在仿真中，他们会随机化物体质量、摩擦和接触位置，使策略学会在意外负载下保持平衡。人类动作捕捉或遥操作数据常被重定向到机器人上，为搬起箱子或坐到家具上等交互提供参考动作。在硬件上，工程师用一系列不同的负载进行测试，并监测关节力矩和足部接触状态，以了解控制器在哪些地方用平衡换取任务表现。

常见误解

• 移动操作只是在移动底座上用螺栓装一条机械臂 — 其决定性特征是身体运动与交互力相互耦合，必须一起控制
• 好的运动控制器和好的操作控制器可以简单地组合起来 — 来自操作的力会干扰平衡，需要协调的全身控制或联合训练
• 它只适用于人形机器人 — 带机械臂的四足机器人、轮腿式机器人以及用腿进行操作的机器人，都在这一术语下被研究

谁需要了解

• 人形和足式机器人研究人员
• 从事全身控制的控制工程师
• 为移动机械臂操作训练策略的机器人学习团队
• 将机械臂集成到四足平台上的开发者

相关技术

• 全身控制（Whole-Body Control）
• 模型预测控制（Model Predictive Control）
• 强化学习（Reinforcement Learning）
• 运动重定向（Motion Retargeting）
• 质心动力学（Centroidal Dynamics）
• 接触隐式优化（Contact-Implicit Optimization）

相关术语

• Whole-Body Control
• Locomotion
• Humanoid Robot
• Quadruped
• Dexterous Manipulation

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation