Visual Imitation Enables Contextual Humanoid Control

作者: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

VideoMimic 從手機影片重建人與場景，把動作重定向到 Unitree G1，並訓練出一個能依地形爬樓梯、坐下或站起的單一策略。

為何重要

部署後的策略只需要本體感知、光達（LiDAR）高度圖與搖桿方向，並依據地形而非任務標籤，在行走、爬樓梯、坐下與站起之間做選擇。訓練參考來自隨手錄製的智慧型手機影片，而不是動作捕捉場地；作者表示，就他們所知，這是首次在真實世界部署從單眼人類影片學得、具情境感知能力的人形機器人策略。

問題

教人形機器人掌握依情境而定的全身技能，例如爬樓梯或坐到椅子上，通常需要為每種行為與環境人工調校獎勵或取得動作捕捉資料。動作模仿方法通常假設地面平坦或使用裝設儀器的捕捉場地，而單眼重建方法往往能還原人體，卻無法以公制尺度還原周遭場景。

提出的方法

VideoMimic 從單眼影片中逐格估計 SMPL 人體姿態與 2D 關鍵點，以及場景點雲（MegaSaM 或 MonST3R），再以 SMPL 人體身高先驗作為公制參考，同時最佳化人體軌跡與場景尺度；場景以 GeoCalib 進行重力對齊，並以 NKSR 建立網格。動作在關節極限、接觸與碰撞成本的約束下重定向到 Unitree G1。策略在 Isaac Gym 中分四個階段訓練：以 LAFAN 動作捕捉資料進行 RL 預訓練；使用 11 × 11 高度圖進行以場景為條件的追蹤；透過 DAgger 蒸餾為只以根節點方向為條件的策略；以及用這組精簡觀測進行 PPO 微調。

關鍵見解

以 SMPL 人體的公制身高為參考，同時最佳化人體動作與場景尺度，可解決單眼 SfM 點雲的尺度模糊問題。
在追蹤含雜訊的影片參考之前，需要先以動作捕捉資料進行 RL 預訓練；沒有這一步，策略幾乎學不到東西（Fig. 6），部分原因是重建出的起始姿態可能不穩定或與場景相交。
先蒸餾為只看根節點方向的策略，再以相同的精簡輸入重新執行 RL，可在蒸餾策略的基礎上進一步改善，並允許使用品質較低的參考片段。
對硬體部署至關重要的有兩點：相對於參考動作放寬回合終止的容許誤差，以及在訓練中加入逼真的物理擾動。
在分階段的真實世界測試中，以根節點位置為條件比以根節點速度為條件效果更好。

主要結果

在 SLOPER4D 子集上的重建（Table 2）：WA-MPJPE 為 112.13，對比 149.48（TRAM）與 189.29（WHAM）；W-MPJPE 為 696.62，對比 954.90 與 1148.49；Chamfer 距離為 0.75，TRAM 為 10.66（WHAM 不還原場景）。
編譯後，人-場景聯合最佳化在 NVIDIA A100 上處理一段 300 格序列約需 20 ms；每段 300 格的片段，重定向約需 10 s，重力對齊加網格化約需 60 s。
訓練集由 123 段自行錄製的智慧型手機片段組成：39 段上樓梯、36 段下樓梯、13 段上下皆有、7 段站起、12 段坐下、5 段坐下並站起、11 段穿越地形；10 段平地行走的 LAFAN 片段占取樣的 10%。
一個在 23-DoF Unitree G1 機上以 50 Hz 執行的策略，能上下室內外樓梯、穿越陡峭的土坡與雜亂植被，並能在椅子與長凳上坐下與站起。
下樓梯時腳底打滑後，策略以短暫的單腳跳躍恢復，然後回到正常步態。

限制

單眼 4D 重建很脆弱：MegaSaM 的相機漂移會產生重複的「幽靈」表面，人體點會被融入靜態場景，低紋理影像會失敗，NKSR 也可能把狹窄的樓梯踏面過度平滑，因此這類影片會被捨棄。
重定向假設每個參考姿態都能調整為機器人可行的姿態；在雜亂的場景中，彼此衝突的接觸與碰撞成本可能讓求解器陷入不佳的局部極小值。
11 × 11 的光達（LiDAR）高度圖太粗略，無法支援精確接觸、操作或應付懸垂障礙物。
場景被建模為單一剛性網格，因此無法處理鉸接或可變形物體。
由於只有 123 段片段，策略有時仰賴恢復行為，造成動作不順暢；真實機器人的結果以定性方式呈現，沒有報告成功率。

對領域的影響

這篇論文獲得 CoRL 2025 最佳學生論文獎，被引用 142 次。作者表示將釋出重建程式碼、策略訓練框架，以及包含 123 段影片的資料集；結果展示於 videomimic.net。

摘要

我們要如何利用周遭環境的脈絡，教人形機器人爬樓梯和坐椅子？可以說，最簡單的方式就是直接示範給它們看——隨手拍一段人體動作影片，再餵給人形機器人。我們提出 VIDEOMIMIC，一個從真實到模擬再到真實的流程，它從日常影片中挖掘資料，同時重建人與環境，並為人形機器人產生執行相應技能的全身控制策略。我們在真實人形機器人上展示此流程的成果，呈現穩健、可重複的情境化控制，例如上下樓梯、在椅子與長凳上坐下與站起，以及其他動態全身技能——全部來自單一策略，以環境與全域根節點指令為條件。VIDEOMIMIC 為教人形機器人在多樣的真實世界環境中運作，提供了一條可擴展的途徑。

連結

arXiv 2505.03729: https://arxiv.org/abs/2505.03729
DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
專案頁面: https://videomimic.net/