Loco-Manipulation

• 다른 이름: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
• 카테고리: Control › Locomotion control
• 태그: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

로봇의 이동 능력과 조작 능력을 협조적으로 사용하는 것으로, 몸의 이동과 물체 다루기를 별개의 단계가 아니라 함께 계획하고 제어한다.

정의

로코-매니퓰레이션(loco-manipulation)은 로봇이 환경 속에서 몸을 이동시키는 동시에, 또는 긴밀하게 결합된 순서로 물체와 물리적으로 상호작용해야 하는 작업을 말한다. 예로는 휴머노이드가 상자를 들고 경사로를 오르는 일, 팔이 달린 4족 보행 로봇이 문을 열고 통과하는 일, 보행 로봇이 카트를 미는 일이 있다. 이 용어는 이동(locomotion)과 조작(manipulation)을 합친 것으로, 로봇의 베이스가 움직이고 세계와의 접촉이 계속 바뀔 때 둘을 독립적으로 다룰 수 없음을 강조한다.

고전적인 모바일 매니퓰레이션은 흔히 문제를 분리한다. 베이스를 어떤 위치로 몰고 가서 멈춘 다음 팔을 사용한다. 로코-매니퓰레이션은 대신 몸 전체를 하나의 시스템으로 다룬다. 손이나 엔드 이펙터가 가하는 힘은 균형, 발 디딤, 베이스 운동에 영향을 주며, 베이스의 운동은 다시 팔이 닿을 수 있는 범위를 바꾼다. 무거운 물체를 드는 휴머노이드는 무게중심을 옮겨야 하고, 앞다리로 버튼을 누르는 4족 보행 로봇은 그 다리를 지지에 쓸 수 없게 된다.

접근법은 크게 두 계열로 나뉜다. 모델 기반 방법은 접촉 순서와 중심 동역학(centroidal dynamics)에 대한 모델 예측 제어처럼 전신 제어와 최적화를 사용하여, 마찰 및 토크 한계 아래에서 발, 손, 몸통에 대한 작업을 함께 푼다. 학습 기반 방법은 시뮬레이션에서 강화 학습으로 정책을 학습시키거나 인간 동작 데이터로부터 학습하며, 흔히 인간 시연을 로봇의 몸에 리타겟팅한다. 하이브리드 시스템은 학습된 보행 정책을 조작 목표를 위한 계획기나 모델 기반 제어기와 결합한다.

주요 어려움으로는 환경과 조작 대상 물체 모두가 관련된 접촉 순서를 계획하는 일, 균형을 유지하면서 상호작용 힘을 조절하는 일, 그리고 현실적인 인간-물체 상호작용을 담은 충분한 학습 데이터를 확보하는 일이 있다. 이 연구에 쓰이는 플랫폼으로는 휴머노이드 로봇, 팔을 장착한 4족 보행 로봇, 바퀴-다리형 로봇이 있다.

중요한 이유

가정, 창고, 재난 현장의 많은 유용한 작업은 로봇이 걷기만 하거나 잡기만 하는 것이 아니라 움직이면서 나르고, 밀고, 열고, 오를 것을 요구한다. 로코-매니퓰레이션은 보행 로봇과 휴머노이드 로봇을 이동 플랫폼에서 사람을 위해 만들어진 공간에서 물리적 작업을 할 수 있는 기계로 바꾸는 능력이다.

주요 응용

• 걸으면서 물체를 나르고, 들어 올리고, 내려놓는 휴머노이드 로봇
• 문을 열고, 버튼을 누르고, 물건을 가져오는 팔 달린 4족 보행 로봇
• 카트, 손수레, 무거운 물체를 밀고 당기기
• 가구, 계단 및 기타 장면 요소 위로 올라가고 이들과 상호작용하기
• 산업 현장이나 재난 현장에서의 점검 및 개입 작업

실제 사례

휴머노이드나 팔 달린 4족 보행 로봇을 다루는 팀은 보통 신뢰할 수 있는 보행 제어기에서 시작해 여기에 조작 목표를 추가한다. 전신 제어기의 추가 작업으로 넣거나, 학습된 정책에 대한 추가 명령과 보상으로 넣는다. 시뮬레이션에서는 물체의 질량, 마찰, 접촉 위치를 무작위화하여 정책이 예상치 못한 하중 아래에서도 균형을 유지하도록 학습시킨다. 상자를 집어 들거나 가구에 앉는 것 같은 상호작용의 기준 동작을 제공하기 위해, 인간 모션 캡처 데이터나 원격 조작 데이터를 로봇에 리타겟팅하는 경우가 많다. 하드웨어에서는 다양한 페이로드로 시험하고 관절 토크와 발 접촉 상태를 모니터링하여, 제어기가 어디에서 균형과 작업 성능을 맞바꾸는지 확인한다.

흔한 오해

• 로코-매니퓰레이션은 이동 베이스에 팔을 볼트로 고정한 것일 뿐이다 — 핵심 특징은 몸의 운동과 상호작용 힘이 결합되어 있어 함께 제어해야 한다는 점이다
• 좋은 보행 제어기와 좋은 조작 제어기는 그냥 합치면 된다 — 조작에서 오는 힘이 균형을 흐트러뜨리므로 협조된 전신 제어나 공동 학습이 필요하다
• 휴머노이드에만 해당한다 — 팔 달린 4족 보행 로봇, 바퀴-다리형 로봇, 다리로 조작하는 로봇 모두 같은 용어 아래 연구된다

알아야 할 사람

• 휴머노이드 및 보행 로봇 연구자
• 전신 제어를 다루는 제어 엔지니어
• 모바일 매니퓰레이션 정책을 학습시키는 로봇 학습 팀
• 4족 보행 플랫폼에 팔을 통합하는 개발자

관련 기술

• 전신 제어(Whole-Body Control)
• 모델 예측 제어(Model Predictive Control)
• 강화 학습(Reinforcement Learning)
• 모션 리타겟팅(Motion Retargeting)
• 중심 동역학(Centroidal Dynamics)
• 접촉 암시적 최적화(Contact-Implicit Optimization)

관련 용어

• Whole-Body Control
• Locomotion
• Humanoid Robot
• Quadruped
• Dexterous Manipulation

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation