Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

저자: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

사람이 각 하위 작업을 수행하는 생성 이미지로부터 손/발 접촉과 리타깃팅된 로봇 자세를 얻어, 장기 휴머노이드 작업 전반에서 전신 궤적 최적화를 안내한다.

중요한 이유

이 파이프라인은 작업별 휴리스틱도, 3D 인간-물체 상호작용 데이터셋도 필요로 하지 않는다. 입력은 상위 수준의 텍스트 계획과 물체 이미지뿐이다. 저자들은 추출된 접촉 및 구성 정보 없이는 궤적 최적화가 두 시험 작업 중 어느 것도 풀 수 없었다고 보고하므로, 생성된 이미지가 국소 최적화에 없는 장기 추론을 제공하는 셈이다.

문제

휴머노이드는 불안정한 동역학을 가진 고차원 시스템이며, 유용한 로코-매니퓰레이션 작업에는 기존 계획 방법이 감당하지 못하는 장기 추론이 필요하다. 궤적 최적화는 국소적이어서 안내 없이는 이러한 작업에서 실패하며, 원격 조작으로 휴머노이드 시연을 수집하는 것은 로봇이 쉽게 넘어질 수 있어 어렵다.

제안 방법

짧은 텍스트 프롬프트의 순서 목록과 물체의 RGB-D 이미지로부터, 잠재 확산 모델(Flux)이 전신 인물이 각 하위 작업을 수행하는 이미지를 생성한다. 손과 발의 접촉은 의미적 대응과, 점군 겹침을 확인하는 샘플링 기반 SVD 및 ICP 탐색을 결합하여 3D 장면으로 옮겨지며, 인물의 자세(WHAM에서 추출)는 역기구학을 통해 35-D 로봇 구성으로 리타깃팅된다. 이 키프레임은 중심 동역학 기반 전신 궤적 최적화에 비용 항으로, 그리고 하위 작업 형태의 웜 스타트로 투입된다.

핵심 통찰

• 사람을 생성한 2D 이미지는 접촉 위치와 전신 구성을 모두 제공할 수 있으며, 둘을 함께 사용하면 접촉만 사용할 때보다 국소 궤적 최적화를 더 나은 국소 최솟값으로 이끈다.
• 생성된 물체는 시점, 형상, 텍스처가 실제 물체와 다르기 때문에 의미적 대응만으로는 신뢰할 수 없다. 점군 겹침으로 후보 매칭을 채점하면(SVD 후 ICP) 잘못된 접촉이 바로잡힌다.
• 키프레임은 비용 항이자 하위 작업 형태의 웜 스타트로 함께 쓸 때 가장 잘 작동한다. 웜 스타트를 포함한 설정은 대체로 더 잘 수렴하고 관통이 적다.
• 각 프롬프트에 머리카락과 옷에 대한 고정된 묘사를 덧붙이면 이미지 모델이 전신 인물을 그리게 되는데, 이는 접촉 및 자세 추출에 필요하다.

주요 결과

• 최소한의 충돌 페널티만 사용해도 전체 파이프라인은 두 시나리오 모두에서 전체 궤적에 걸쳐 충돌이 없는 반면(S1: 상자를 옮기고 그 위에 올라서서 선반의 바구니 가져오기, S2: 상자를 트롤리에 올리고 밀기), 접촉만 사용하는 기준선은 내내 상당한 관통을 보인다(Fig. 5).
• 추출된 접촉 및 구성 정보 없이는 궤적 최적화가 두 작업 중 어느 것도 풀 수 없었다. 대신 가능한 모든 충돌 제약을 활성화하면 국소 최솟값에 갇힌다.
• 5.0 kg 상자와 초기 요 0 rad의 S1 시험에서 모든 키프레임 구성 요소를 사용하면 관통이 0이다. 어떤 구성 요소든 제거하면 수렴하지 못하거나 관통이 커진다.
• 키프레임 절제 실험은 S1에서 상자 질량 {2.5, 5.0} kg과 초기 요 {0, 0.6, 1.2} rad, S2에서 {2.5, 5.0, 7.5} kg과 {0, ±0.6, ±1.2} rad를 다룬다.
• 충돌 페널티를 비활성화하면, 두 시나리오 모두에서 형상 인식 접촉 전이가 형상을 고려하지 않는 전이보다 관통이 상당히 적다.
• 강체 변환 탐색은 10회 반복 실행되며, 실제로는 최적의 변환이 3회 안에 발견된다.

한계

• 시뮬레이션(Unitree G1 모델을 사용한 MuJoCo)에서만 검증되었다. 저자들은 실제 휴머노이드에서의 실행을 향후 과제로 꼽는다.
• 상위 수준 계획(순서가 정해진 텍스트 프롬프트)과, 배치 작업의 경우 물체의 목표 3D 위치와 요가 주어진다고 가정한다. 저자들은 이를 멀티모달 언어 모델을 사용하는 작업 플래너로 대체할 계획이다.
• 일부 절제 사례에서는 전체 키프레임 설정이 부분 설정보다 약간 나쁜데, 저자들은 이를 궤적 최적화 솔버의 세부 사항 탓으로 본다.
• 생성된 이미지의 카메라 내부 파라미터는 시행착오로 설정되며(이미지 해상도를 초점 거리로 사용), 관통을 피하기 위해 휴리스틱으로 접촉을 가장 가까운 물체 표면에 투영한다.
• 결과는 두 시나리오에 대한 관통 그래프로 제시된다. 논문은 성공률이나 계획 시간을 보고하지 않는다.

분야에 미친 영향

이 논문은 Humanoids 2025 Best Oral Paper Award 최종 후보였으며 인용 횟수는 8회이다. 논문은 코드, 데이터셋 또는 프로젝트 페이지로 연결하지 않으며, 보충 영상을 언급한다.

초록

본 논문은 사실적인 RGB 인간-물체 상호작용 장면을 생성하는 잠재 확산 모델(LDM)의 능력을 활용하여 휴머노이드 로코-매니퓰레이션(loco-manipulation) 계획을 안내한다. 이를 위해 우리는 생성된 이미지에서 접촉 위치와 로봇 구성을 모두 추출하며, 이는 전신 궤적 최적화(TO) 정식화 안에서 사용되어 휴머노이드를 위한 물리적으로 일관된 궤적을 생성한다. 우리는 다양한 장기 로코-매니퓰레이션 시나리오에 대해 시뮬레이션에서 전체 파이프라인을 검증하고, 제안한 접촉 및 로봇 구성 추출 파이프라인에 대한 광범위한 분석을 수행한다. 우리의 결과는 LDM에서 추출한 정보를 사용하여 장기 추론이 필요한 물리적으로 일관된 궤적을 생성할 수 있음을 보여 준다.

링크

• arXiv 2504.16843: https://arxiv.org/abs/2504.16843
• DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
• PDF: https://arxiv.org/pdf/2504.16843v1