GRAIL: Generating Humanoid Loco-Manipulation from World Models

作者: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

為何重要

人形機器人需要全身走路、跪下、坐下和操弄物件的示範，而現在這些示範來自遠端操作機器人或動作擷取，兩者每遇到一個新物件或一段新樓梯，都需要實體場景和人力。GRAIL 以一套在部署前都留在電腦裡的流程取代它們：輸入一個 3D 物件和場景，輸出機器人可用的軌跡，每段序列在一張 GPU 上約需 14 分鐘生成。作者證明這些資料本身就足夠：只用它訓練的視覺策略，能在實體 Unitree G1 上拿起物件、爬樓梯。程式碼、說明文件、一個包含超過 22,000 段 G1 動作的資料集，以及追蹤用的檢查點都已公開，讓它成為建構人形機器人合成資料時可實際運作的參考。程式碼採用 NVIDIA License，資料集採用 CC BY-NC 4.0，因此兩者都只能用於研究或評估，不能用在商業產品中。

問題

人形機器人移動操作策略需要涵蓋大量物件、全身動作與地形形狀的示範，而且每一段都必須在物理上合理、機器人做得出來。遠端操作和動作擷取能提供好的示範，但難以擴大規模：每個新物件或新的地形配置，都需要操作人員、穿戴感測裝置的演員，以及重新搭建的實體場景。從一般影片重建機器人軌跡可以增加廣度，但相機、尺度、物件形狀、身體形狀、接觸點，以及在世界座標中的運動，全都得從單一視角猜測。先前把生成影片當作人與物件互動來源的流程，同樣把這些量留到生成之後再推估，所以結果常常不是機器人能追蹤的東西。

提出的方法

GRAIL 在生成任何東西之前先固定場景。把一個物件資產放進 Infinigen 產生的房間，旁邊是一個身體比例依 Unitree G1 調整過的人物角色，以物理模擬讓物件穩定落定，再在 Blender 中用已知的相機參數算繪。GPT-4o 根據這一格畫面撰寫互動提示詞，當作世界模型使用的 Kling 圖生影片模型則生成一段固定機位的影片，呈現這個人操弄物件。由於幾何、尺度、相機、場景深度與體型都已知，重建就受到約束：GENMO 在體型固定下估計身體姿態，WiLoR 細修雙手，經過微調的 FoundationPose 從已知的初始位姿開始追蹤物件，再對身體與物件做聯合最佳化，以關鍵點、投影、深度與接觸損失消除懸空接觸、穿透與深度漂移。物件追蹤與 SAM2 遮罩不一致的序列會被捨棄。GMR 把動作重定向到 G1，兩個建立在 SONIC 全身控制器上的通用任務追蹤器，在 Isaac Lab 中把參考動作轉成機器人動作：一個是物件感知轉接器，調整 SONIC 的潛在 token 並控制雙手開合；另一個是場景感知追蹤器，將 SONIC 與一個讀取機器人周圍地面高度圖的網路一起微調，用於路緣、斜坡、樓梯和椅子。針對實體機器人，這些追蹤器會蒸餾成第一人稱 RGB 策略，並以領域隨機化訓練。

關鍵見解

在生成影片前就掌握場景，才讓重建變得可用：物件幾何、相機、公制尺度、場景深度，以及依機器人比例打造的身體，都變成輸入而不是未知數
生成人的影片比較適合：目前的影片模型對人類操作的先驗比對機器人更強，人體與手部重建工具也更成熟
事先依機器人比例調整的角色，能減少把動作重定向到 G1 時的不匹配，讓手與物件、身體與場景的接觸在重定向後得以保留
每一項重建損失對機器人都有影響，而不只是對畫面：拿掉投影、深度或接觸項，下游追蹤成功率會從 81.4% 掉到 41.6% 至 53.3% 之間
光有精準的身體追蹤不足以完成操作：原版 SONIC 的身體追蹤最好，成功率卻最低，物件感知潛在轉接器補上了處理物件的能力
每個任務族群訓練一個追蹤器、涵蓋 2,000 到 4,000 段動作，可把成本壓到每段動作約 0.5 到 0.9 分鐘的訓練時間，新動作則可從現有策略接續微調後加入

主要結果

在 20 個共用物件上，GRAIL 生成的互動在物理模擬中的追蹤成功率為 88.9%，DAViD 為 24.0%、HOIDiff 為 15.8%、CHOIS 為 10.5%；其接觸距離（0.008）與穿透率（0.90%）都是最低
在一項有 30 位參與者的使用者研究中，GRAIL 有 74.7% 的次數被選為最恰當的物件用法，有 70.9% 的次數被選為物理上最合理的動作，理論上限為 75%
在涵蓋 43 個物件、124 段動作的基準測試中，這個通用任務追蹤器的操作成功率達 81.4%，HDMI 為 48.5%、ResMimic 為 49.2%；拿掉 SONIC 後降到 45.0%
這套流程以 1,000 個物件資產和 1,000 個程序化生成的地形，產生了超過 20,000 段序列，在一張 NVIDIA A100 上每段 5 秒序列約需 14 分鐘
在實體 Unitree G1 上，只用 GRAIL 資料訓練的第一人稱 RGB 拿取策略，對五個看過的物件成功率為 84%，對五個沒看過的物件為 80%，每個物件各試 10 次
只用 GRAIL 地形序列訓練的爬樓梯策略，在真實世界中的成功率達 90%

限制

程式碼採用 NVIDIA License，只允許用於研究或評估（NVIDIA 本身除外）；公開的資料集採用 CC BY-NC 4.0，部分隨附的權重與資產保留各自的第三方授權，因此其中任何部分都不能放進商業產品
預設情況下，影片生成會呼叫付費的 Kling API，提示詞則來自 OpenAI API（GPT-4o），所以產生新資料需要外部服務的金鑰；2026 年八月新增了使用 MiniMax-H3 的本機選項
這套流程需要每個物件都有 3D 資產和可用於模擬器的場景，影片模型也必須照要求演出互動；在嚴重遮擋、快速動作或物件外觀在畫格之間改變時，重建品質會下降，過濾步驟也會捨棄相當比例的序列
訓練負擔很重：每個追蹤策略在 64 張 NVIDIA L40 GPU 上跑 30,000 次 PPO 迭代，約 30 小時，遇到新的動作族群仍需要訓練或微調
實體機器人的結果只涵蓋一台機器人上的兩項任務，也就是從桌面拿取和爬樓梯，每個物件試 10 次；全身操作和坐下只在模擬中展示，雙手也只用張開或閉合的二元抓取
公開的資料集涵蓋拿取、坐下和地形；全身操作的資料仍列在待辦清單上，快速入門的示範腳本也還沒釋出
所有結果都由作者自行報告；截至撰寫時，尚未有獨立的重現結果發表

對領域的影響

在機器人領域，影片生成模型過去多半用來想像結果或提供視覺預訓練。GRAIL 把它們當成人形機器人物理示範的來源，並證明讓這件事行得通的關鍵，是先決定 3D 場景、再在其中重建，而不是從不受約束的影片裡讀出 3D 動作。實體機器人上的拿取和爬樓梯完全只用這些資料訓練，說明來自世界模型的合成資料可以和遠端操作、動作擷取並列，成為擴大人形機器人資料集的一條路；它公開的資料集也提供其他團隊大量關於地形與拿取的 G1 參考動作，可用來訓練追蹤器。

摘要

要擴大人形機器人的移動操作規模，需要涵蓋多樣物件、全身動作與場景幾何、且與機器人相容的示範，但遠端操作與動作擷取都難以擴大規模，因為每次蒐集都仰賴實體布置、穿戴感測裝置的演員以及機器人的操作。我們提出 GRAIL，一套在部署之前始終完全虛擬的數位生成流程：它把影片世界模型錨定在 3D 資產與可直接用於模擬器的場景中，不必重建實體環境，也不必遠端操作機器人，就能合成互動。GRAIL 不去重建不受控的真實世界影片，而是從完全指定的 3D 配置出發，其中物件幾何、相機參數、公制尺度、環境深度，以及依機器人比例打造的角色，在生成影片前就已知，並在重建時重複使用。這種具備特權資訊的設定讓 4D 還原有更好的條件，使以模型為基礎的物件追蹤、人體動作估計與考量互動的最佳化，能重建公制尺度的 4D 人與物件互動（HOI）軌跡，並減少深度歧義與形體不匹配。我們把還原出的動作重定向到人形機器人上，並訓練互補的通用任務追蹤器：負責操作的物件感知潛在轉接器，以及負責地形行進的場景感知追蹤器。GRAIL 產生了超過 20,000 段序列，涵蓋拿取、全身操作、坐下與地形行進。我們只用 GRAIL 產生的資料，透過模擬到現實（Sim-to-Real）流程訓練第一人稱視覺策略，並部署到 Unitree G1 人形機器人上，在真實世界中拿取多樣物件的成功率達 84%，爬樓梯的成功率達 90%。

連結

arXiv 2606.05160: https://arxiv.org/abs/2606.05160
PDF: https://arxiv.org/pdf/2606.05160
程式碼: https://github.com/NVlabs/GRAIL
專案頁面: https://research.nvidia.com/labs/dair/grail/
資料集: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL