Sim2Real
- 又稱: Simulation to Reality, Sim-to-Real
- 類別: Learning & autonomy › RL & simulation
- 標籤: simulation, transfer-learning
把在模擬中訓練的機器人技能遷移到真實世界部署的技術，即模擬到現實（Sim2Real）。
定義
模擬到現實（Sim2Real）是指將在模擬中訓練的機器人策略轉移到真實世界運作時所面臨的挑戰與相關技術。關鍵技術包括領域隨機化、系統識別與漸進式微調。
為何重要
模擬到現實（Sim2Real）是讓在模擬中訓練的策略在實體硬體上運作的問題。它之所以重要，是因為模擬是取得強化學習所需數百萬次試驗唯一實際的方法，也因為兩者之間的落差正是大部分訓練悄悄失敗的地方。每一項不吻合，包括摩擦、質量、馬達延遲、感測器雜訊與接觸行為，都是策略學到某件在模擬器中成立、在現實世界中卻不成立之事的機會。
主要應用
- 在大規模平行模擬中訓練的足式行走運動策略
- 在硬體上微調之前的操作預訓練
- 無人機控制策略，在真實環境中訓練時墜機的代價很高
- 無法在真實硬體上探索的安全關鍵行為
- 在硬體尚不存在時快速反覆迭代控制設計
- 產生帶有完美真值的標註感知資料
實際應用
領域隨機化是主流的解答：模擬器不試圖精確地為現實建模，而是在數千個平行實例中改變質量、摩擦、延遲與感測器雜訊，迫使策略學會對所有這些變化都具強健性的東西。現代四足機器人的行走運動策略就是這樣遷移的。接觸與形變仍是最困難的情況，這就是為什麼足式行走運動的遷移遠比柔軟物體的靈巧操作好：剛體接觸能被近似到可以接受的程度，布料與摩擦則不能。
常見誤解
- 更好的模擬器就能弭平落差：逼真度有幫助，但隨機化訓練的遷移效果通常勝過單一的精確模型
- 模擬到現實（Sim2Real）只跟物理有關：感測器特性、延遲與控制時序同樣重要
- 在模擬中成功就能預測在硬體上成功：沒有隨機化，策略經常會利用模擬器的瑕疵
- 落差是均勻的：剛體行走運動的遷移遠比大量接觸或可變形物體的操作容易
誰需要了解
- 任何在模擬中訓練控制策略的人
- 決定要在多大程度上信任模擬結果的工程師
- 設計領域隨機化範圍的研究人員
- 想了解模擬機器人結果為何帶有但書的學生
- 任何模擬策略一到真實硬體上就崩潰的人
相關技術
- 領域隨機化
- NVIDIA Isaac Sim
- MuJoCo
- Gazebo
- 系統識別
- 強化學習
- 數位孿生
- 平行模擬（GPU 加速）
相關術語
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- RLinf: Scalable infrastructure for post-training foundation models via RL
- Webots: Cross-platform robot simulator with built-in models, sensors, and development environment
- NVIDIA Isaac Sim: NVIDIA Omniverse app for AI-driven robot simulation and testing
影片
- Lecture 22 Sim2Real and Domain Randomization -- CS287-FA19 Advanced Robotics at UC Berkeley: Pieter Abbeel