Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

作者: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

產生的人完成各個子任務的影像，提供手/腳接觸點與經重定向的機器人姿態，引導全身軌跡最佳化完成長時域的人形機器人任務。

為何重要

此流程不需要針對特定任務的啟發式規則，也不需要 3D 人-物互動資料集：它的輸入是一份高階文字計畫與物體的影像。作者報告，若沒有擷取出的接觸與組態資訊，軌跡最佳化無法解出任何一項測試任務，因此產生的影像補上了局部最佳化所欠缺的長時域推理。

問題

人形機器人是動力學不穩定的高維度系統，而實用的移動操作任務需要長時域推理，現有的規劃方法無法擴展到這種程度。軌跡最佳化是局部的，沒有引導時會在這類任務上失敗；而人形機器人的遠端操作示範很難蒐集，因為機器人很容易跌倒。

提出的方法

依據一份有序的簡短文字提示清單與物體的 RGB-D 影像，潛在擴散模型（Flux）產生全身人物完成每個子任務的影像。結合語意對應與一種以取樣為基礎、檢查點雲重疊程度的 SVD 與 ICP 搜尋，把手與腳的接觸點轉移到 3D 場景中；人物姿態（來自 WHAM）則透過逆向運動學重定向為 35-D 的機器人組態。這些關鍵影格被引入以質心動力學為基礎的全身軌跡最佳化中，同時作為成本項與子任務式的熱啟動。

關鍵見解

產生的 2D 人物影像可以同時提供接觸位置與全身組態，兩者結合能把局部軌跡最佳化引導到比只用接觸點更好的局部極小值。
單靠語意對應並不可靠，因為產生的物體在視角、形狀與紋理上與真實物體不同；以點雲重疊程度（先 SVD，再 ICP）為候選匹配評分，可以修正錯誤的接觸點。
關鍵影格同時作為成本項與類似子任務的熱啟動時效果最好；包含熱啟動的設定往往收斂較好、穿透較少。
在每個提示詞後附加一段固定的頭髮與衣著描述，能讓影像模型畫出全身人物，而這正是擷取接觸點與姿態所需要的。

主要結果

在最少量的碰撞懲罰下，完整流程在兩個情境中整條軌跡都無碰撞（S1：移動一個箱子並踩上去，從架子上取下籃子；S2：把箱子搬上手推車並推走），而只用接觸點的基準方法在整個過程中都有明顯穿透（Fig. 5）。
若沒有擷取出的接觸與組態資訊，軌跡最佳化無法解出任何一項任務；改為啟用所有可能的碰撞約束，則會讓它卡在局部極小值。
在箱子質量 5.0 kg、初始偏航 0 rad 的 S1 測試中，使用全部關鍵影格組成時穿透為零；移除任何一個組成，不是無法收斂，就是產生大量穿透。
關鍵影格消融實驗涵蓋：S1 的箱子質量 {2.5, 5.0} kg 與初始偏航 {0, 0.6, 1.2} rad，S2 的 {2.5, 5.0, 7.5} kg 與 {0, ±0.6, ±1.2} rad。
停用碰撞懲罰時，考量幾何的接觸轉移在兩個情境中的穿透都明顯少於不考量幾何的轉移。
剛體轉換搜尋執行 10 次迭代，實務上最佳轉換在 3 次之內就能找到。

限制

只在模擬中驗證（MuJoCo，使用 Unitree G1 模型）；作者把在真實人形機器人上執行列為未來研究。
假設高階計畫（有序的文字提示）已給定，放置任務還假設已給定物體的目標 3D 位置與偏航；作者計畫以使用多模態語言模型的任務規劃器取代這一點。
在部分消融情況下，完整的關鍵影格設定略遜於部分設定，作者將其歸因於軌跡最佳化求解器的細節。
產生影像的相機內部參數是反覆試誤設定的（以影像解析度作為焦距），並以一種啟發式方法把接觸點投影到最近的物體表面以避免穿透。
結果以兩個情境的穿透曲線圖呈現；論文沒有報告成功率或規劃時間。

對領域的影響

這篇論文入圍 Humanoids 2025 最佳口頭報告論文獎決選，被引用 8 次。論文沒有連結程式碼、資料集或專案頁面；它提到一段補充影片。

摘要

本文運用潛在擴散模型（LDMs）產生逼真 RGB 人-物互動場景的能力，來引導人形機器人的移動操作（loco-manipulation）規劃。為此，我們從產生的影像中同時擷取接觸位置與機器人組態，再將其用於全身軌跡最佳化（TO）的問題表述中，為人形機器人產生物理一致的軌跡。我們在模擬中針對不同的長時域移動操作情境驗證完整流程，並對所提出的接觸與機器人組態擷取流程進行廣泛分析。我們的結果顯示，運用從 LDMs 擷取的資訊，我們能產生需要長時域推理的物理一致軌跡。

連結

arXiv 2504.16843: https://arxiv.org/abs/2504.16843
DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
PDF: https://arxiv.org/pdf/2504.16843v1