Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

Embodied AI

  • 又稱: embodied intelligence, embodied artificial intelligence, physical AI
  • 類別: Learning & autonomy › Foundation models
  • 標籤: embodied-ai, foundation-model, robot-learning

透過機器人機體在實體環境中感知、推理與行動的 AI 代理，閉合感知與行動之間的迴圈。

定義

具身 AI 是人工智慧的一個分支，專注於打造透過一個機體（無論是機器手臂、移動平台或人形機器人）在實體環境中感知、推理與行動的代理。與單獨處理文字、影像或結構化資料的非具身 AI 系統不同，具身 AI 代理必須即時閉合感知與行動之間的迴圈，處理物理、不確定性，以及自身動作造成的後果。

其核心前提是：真正的智慧無法只靠處理資料達成，它需要與實體世界進行有所依據的互動。這個想法可追溯到 Rodney Brooks 在 1980 年代晚期提出的包容式架構（subsumption architecture），並隨著現代深度學習重新獲得動能。如今的具身 AI 系統結合基礎模型（視覺語言模型（VLM）、大型語言模型）與機器人控制策略，打造出能遵循自然語言指令、在陌生空間中導航，並操作從未見過之物體的代理。

具身 AI 的關鍵技術挑戰包括感知對應（把視覺與語言理解連結到實體的可供性）、長時域規劃（排列許多動作以達成高層目標），以及樣本效率高的學習（與網路規模的資料相比，真實世界的互動既昂貴又緩慢）。做法從把攝影機影像直接對應到關節扭矩的端到端視覺運動策略，到把問題分解為感知、規劃與控制層的模組化架構都有。

Isaac Sim、Habitat 與 AI2-THOR 等模擬平台加速了這個領域的發展，讓具身代理能先大規模訓練，再遷移到真實硬體上。大規模的資料蒐集行動（以遠端操作在多樣任務中蒐集數千條示範軌跡）正在建立可泛化的具身基礎模型所需的資料集。

具身 AI 位於機器人學、電腦視覺、自然語言處理與強化學習的匯流點，使它成為現代 AI 研究中最跨領域的方向之一。

為何重要

具身 AI 代表一條路徑：從透過資料理解世界的 AI，走向能在世界中實際行動的 AI。大型語言模型與視覺模型雖然在數位領域已有驚人的能力，卻無法摺衣服、組裝家具或在倉庫中導航。具身 AI 研究正在縮小這個落差，開發出結合基礎模型的世界知識，以及透過模擬與真實世界練習習得之物理能力的代理。這是通用機器人所需的核心技術：能在家庭、醫院、工廠與戶外環境中執行有用的實體任務，而不必為每種情境明確編寫程式的機器。

主要應用

  • 居家輔助機器人：在自然語言指令引導下於房間間導航、取物並執行家務
  • 倉儲自動化：在動態、非結構化環境中定位、揀取並搬運物品的移動操作代理
  • 手術輔助：理解手術情境、提供器械傳遞或組織牽引的具身代理
  • 農業機器人：在田間導航，並依視覺判斷的成熟度進行選擇性採收
  • 搜救：自主探索災區、尋找受困者並清除瓦礫
  • 個人機器人：能從自然語言指令或示範中學習新任務的通用人形機器人

實際應用

Google DeepMind 的 RT-2 系統是現代具身 AI 的典範。它採用一個以網路規模影像與文字資料預訓練的大型視覺語言模型（VLM），再以機器人操作示範加以微調，產生一個視覺-語言-動作（VLA）模型。所得的系統能遵循像「把香蕉移到杯子那裡」這樣的新自然語言指令，即使物體的擺放方式是它從未見過的。關鍵的洞見在於：網路規模的預訓練讓模型具備語意理解（香蕉是什麼、「移到」是什麼意思），而機器人微調則教它如何把這種理解轉換成實體的馬達指令。這種廣泛世界知識與實體對應的結合，正是現代具身 AI 的決定性特徵。

常見誤解

  • 具身 AI 就是把聊天機器人放進機器人裡：真正的具身 AI 需要感覺運動對應、即時控制，以及處理物理上的不確定性，遠不只是產生文字回應
  • 具身 AI 需要人形外觀：任何實體代理都算數，從輪式機器人、無人機到機器手臂皆然；關鍵在於感知-行動迴圈，而不是機體的形狀
  • 模擬訓練對具身 AI 就已足夠：模擬提供可擴展的訓練，但模擬到現實（Sim2Real）落差仍然顯著；真實世界的微調與穩健的感知依然不可或缺
  • 具身 AI 只是換了新名字的機器人學：它雖然建立在機器人學之上，但具身 AI 特別強調以學習為基礎的方法與基礎模型的整合，而不是傳統以模型為基礎的控制

誰需要了解

  • 從語言或視覺模型轉向實體應用的 AI 研究人員
  • 把基礎模型整合進機器人系統的機器人工程師
  • 評估通用機器人能力的產品經理
  • 評估機器人 AI 版圖的創投業者
  • 選擇機器人或 AI 研究方向的研究生

相關技術

  • 視覺-語言-動作（VLA）模型
  • Habitat 模擬器
  • NVIDIA Isaac Sim
  • AI2-THOR
  • RT-2
  • Open X-Embodiment
  • Mobile ALOHA

相關專案

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly

影片

  • Gemini Robotics: Bringing AI to the physical world: Google DeepMind
  • The Next Wave of AI: Physical AI: NVIDIA

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。