Cross-Embodiment
- 又稱: cross-embodiment learning, cross-embodiment transfer, embodiment-agnostic learning, multi-embodiment
- 類別: Learning & autonomy › Foundation models
- 標籤: cross-embodiment, foundation-model, transfer-learning
訓練單一的機器人學習策略,使其能在多種機器人機體類型上運作,讓知識在不同硬體平台之間轉移。
定義
跨形態(cross-embodiment)指的是機器人學習系統訓練出單一策略或模型,能在多種機器人機體類型(形態)上運作的能力,這些機體具有不同的感測器配置、關節配置與物理能力。跨形態學習不必為每台機器人各訓練一個模型,而是產生可泛化的策略,能從同一個學習到的表徵控制 Franka 手臂、UR5、移動操作機器人或人形機器人。
這個概念源自機器人學習中的一個根本瓶頸:蒐集示範資料很昂貴,而每個機器人平台過去都需要自己的資料集與模型。跨形態學習透過找出操作與行走運動技能的共用表徵、把硬體差異抽象化,打破了這項限制。
在技術上,跨形態可透過幾種方法實現。動作 token 化把不同機器人的關節配置對應到共同的 token 詞彙,讓 Transformer 能一致地處理。與形態無關的觀測空間使用第三人稱攝影機視角或標準化的點雲格式,而不是機器人專屬的本體感知資料。轉接層(adapter)在共用骨幹上加入小型的機器人專屬模組,類似語言模型的轉接層讓基礎模型專精於不同任務的方式。
Google DeepMind 具里程碑意義的 Open X-Embodiment 專案大規模驗證了這種做法:他們匯集了來自 21 個研究機構、22 種不同機器人平台的示範資料,再以這個合併的資料集訓練 RT-X 模型系列。值得注意的是,跨形態模型的表現勝過只用各機器人自身資料訓練的專用模型,這顯示訓練資料的多樣性(即使來自物理上不同的機器人)能帶來淨效益。
跨形態與機器人領域的基礎模型典範密切相關。正如以多樣文字訓練的語言模型能泛化到新主題,以多樣形態訓練的機器人基礎模型也被期望能以極少量調整甚至零樣本的方式泛化到新的機器人。這將大幅降低把學習到的技能部署到新硬體上的成本。
為何重要
跨形態(cross-embodiment)是讓機器人學習在經濟上可行的關鍵。如今,每個新的機器人平台在學習技能上幾乎都從零開始,需要昂貴的資料蒐集行動。如果策略能在不同形態之間轉移,整個機器人社群的資料蒐集努力就會累積起來,而不是各自分散。在一支手臂上學到的操作技能,可以立即讓其他每一支手臂受益。這正是 Open X-Embodiment 專案與 Physical Intelligence 的 pi0 等商業計畫背後的願景:建立一個讓所有機器人都更聰明的共用基礎,而不只是某一個特定平台。
主要應用
- 機器人基礎模型:以數十種機器人平台的資料訓練單一通用策略,並遷移到新的硬體上
- 車隊部署:在由不同外形機器人組成的異質車隊中部署相同的學習技能
- 快速原型開發:用預訓練的跨形態策略測試新的機器人硬體,而不必從頭蒐集特定任務的資料
- 從模擬到現實再到另一種現實:在模擬中以一種機器人模型訓練,再部署到物理上不同的真實機器人上
- 學術合作:在硬體不同的實驗室之間分享並合併機器人資料集,形成統一的訓練集
- 消費型機器人:讓各種設計的居家機器人都能受益於共用的學習行為
實際應用
Open X-Embodiment 專案匯集了來自 22 種不同機器人形態、超過 100 萬條機器人軌跡,包括 Franka Panda 手臂、UR5 手臂、Everyday Robots 的移動操作機器人、KUKA iiwa 手臂與雙臂系統。以這個合併資料集訓練一個以 Transformer 為基礎的策略,得到了 RT-X 模型:在小資料領域中,RT-1-X 的表現比以單一資料集訓練的模型高出 50%,而 RT-2-X 在湧現技能上的表現是 RT-2 的三倍。關鍵的技術要素是把觀測標準化(以攝影機影像而非機器人專屬的關節狀態作為主要輸入),以及把動作標準化(使用依各機器人工作範圍正規化的末端執行器位移量)。貢獻資料的實驗室不需要改變他們的硬體或蒐集流程,由跨形態架構處理這些多樣性。
常見誤解
- 跨形態代表一個策略在任何機器人上都完美運作:目前的系統顯示出正向遷移,但仍能從機器人專屬的微調中受益;在差異很大的形態之間進行零樣本遷移仍然有限
- 機器人必須外形相似,跨形態才有效:Open X-Embodiment 專案顯示,即使物理上差異很大,合併手臂、移動機器人與雙臂系統的資料仍能帶來效益
- 跨形態讓機器人專屬資料不再必要:它減少所需的資料量,但要在新平台上達到最佳表現,通常仍需要一些調整用的資料
- 跨形態只是遷移學習:兩者相關,但跨形態專門處理跨越物理硬體差異的遷移,而不只是任務或領域上的差異
誰需要了解
- 為機器人領域建構基礎模型的機器人學習研究人員
- 開發通用操作系統的機器人公司
- 規劃多機器人資料蒐集行動的研究實驗室主管
- 評估該投資機器人專屬 AI 還是可泛化 AI 的工程師
- 研究遷移學習與領域適應的 AI 研究人員
相關技術
- Open X-Embodiment 資料集
- RT-X
- Octo
- 動作 token 化
- Pi0
- DROID 資料集
- 形態轉接層
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Cosmos 3: NVIDIA's open world models that reason, generate video and predict robot actions
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
影片
- Princeton Robotics Seminar - Jeannette Bohg - Enabling Cross-Embodiment Robot Learning: Princeton University Robotics