Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

ASAP

使用差值動作模型、用於敏捷人形機器人全身技能的模擬到現實(sim-to-real)框架

授權條款

MIT

概述

ASAP(Aligning Simulation and Real-World Physics)是一套兩階段框架,用於將敏捷的全身技能從模擬轉移到真實人形機器人上。它處理模擬物理與真實世界物理之間根本性的動力學不匹配問題,這個問題會導致訓練好的策略在真實硬體上失效。

此框架提出一種新穎的差值動作模型,明確捕捉模擬與真實世界之間殘餘的物理差異。整個流程包含四個階段:以相位為基礎的動作追蹤預訓練、差值動作模型訓練、搭配差值動作模型的策略微調,以及真實世界部署。

ASAP 以 HumanoidVerse 打造,這是一個多模擬器框架,可在 IsaacGym、IsaacSim 與 Genesis 模擬器上進行訓練。它使用 SMPL 人體模型,將人類動作擷取資料以動作重定向套用到人形機器人上,讓 Unitree G1 能做出踢腿、跳躍、舞蹈動作與運動動作等高度動態的技能。

由卡內基美隆大學與 NVIDIA 合作開發,已獲 RSS 2025 接受。

ASAP(Aligning Simulation and Real-World Physics)是卡內基美隆大學與 NVIDIA 合作開發的模擬到現實(Sim2Real)遷移框架,已獲 RSS 2025 接受。它讓 Unitree G1 人形機器人能執行高度動態的全身技能,包括踢腿、跳躍、舞蹈動作與運動式的恢復動作,並以極高的還原度從模擬直接遷移到實體硬體。

其核心創新是 delta 動作模型:一個學習而得的殘差,明確捕捉模擬與真實世界之間的物理落差。ASAP 不試圖讓模擬器完美符合現實,而是學習兩者的差異並加以補償。訓練流程分為四個階段:基於相位的動作追蹤預訓練、delta 動作模型訓練、搭配 delta 模型的策略微調,以及透過匯出 ONNX 進行真實世界部署。

ASAP 建構於 HumanoidVerse 之上,這是一個支援 IsaacGym、IsaacSim 與 Genesis 的多模擬器訓練框架。它使用 SMPL 人體模型重定向,將 AMASS 資料集中的人體動作捕捉資料轉移到機器人的形態上,實現多樣的敏捷動作。整個訓練流程在 NVIDIA GPU 上執行,並整合 Weights & Biases 進行實驗追蹤。

這個專案是從模擬遷移而來的敏捷人形機器人行走運動中最令人驚豔的展示之一:G1 機器人完成了過去被認為太過動態、難以可靠地從模擬遷移到現實的動作。

為何重要

ASAP 代表人形機器人模擬到現實(sim-to-real)轉移的一大進展。透過學習一個明確的差值動作模型來捕捉模擬與現實之間的物理落差,它讓人形機器人能夠做出過去無法從模擬可靠轉移的高度動態與敏捷動作。

解決的問題

彌合物理模擬與真實世界機器人硬體之間的動力學落差,這是阻礙經學習的敏捷策略在真實人形機器人上運作的主要瓶頸

重點

  • 差值動作模型明確捕捉模擬到現實(sim-to-real)的物理差異
  • 讓人形機器人在真實硬體上做出踢腿、跳躍與舞蹈動作等高度敏捷的動作
  • 以 HumanoidVerse 打造,支援 IsaacGym、IsaacSim 與 Genesis 模擬器
  • 使用以 SMPL 為基礎的動作重定向,將人類動作擷取資料套用到任何人形機器人

適用對象

  • 人形機器人研究人員
  • 模擬到現實(sim-to-real)轉移研究人員
  • 強化學習實務工作者
  • 運動控制工程師

限制

  • 主要在 Unitree G1 上展示
  • 需要支援 IsaacGym 的 NVIDIA GPU
  • 訓練依賴 AMASS 動作擷取資料集
  • 真實世界部署需要整合 ROS 2 與 Unitree SDK

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。