研究里程碑:機器人研究如何演進
以互動式視覺化呈現機器人研究的關鍵里程碑,從行為複製與模仿學習,一路發展到視覺-語言-動作模型與基礎模型。
里程碑
時代
- 從示範中學習, 2022: 核心的模仿學習方法——行為複製、動作分塊與擴散式策略,這些方法促成了現代機器人學習。 實際應用:機器人透過觀看人類執行任務來學習——大幅減少部署新技能所需的程式設計工作。
- 語言引導的機器人智慧, 2022: 將 LLM 用作機器人的規劃器、程式撰寫者與獎勵設計者——有別於直接輸出動作的 VLA。 實際應用:你可以用簡單的英文告訴機器人要做什麼——AI 會自己想出步驟、寫出程式碼,或設計訓練方式。
- 視覺-語言-動作模型與通用策略, 2023: 能看、能理解語言、能直接控制機器人的 VLA——從單一任務架構演進為可跨機器人形態與環境運作的通用策略。 實際應用:一個 AI 大腦就能看見、理解指令並控制任何機器人——從驗證概念一路走到部署在從未見過的住家中。
- 資料與硬體規模化, 2023: 開放硬體、大規模資料集與框架,讓機器人學習變得容易取得,並能實際大規模應用。 實際應用:任何人都能用不到 $25k 打造一支能力不錯的機器手臂,並使用共享資料集來訓練它——不需要企業實驗室。
- 強化學習後訓練與部署, 2024: 打通最後一哩路——強化學習微調與人在迴路的方法,將 VLA 的成功率從約 60% 推升到近乎完美的可靠度。 實際應用:這就是實驗室示範與產品之間的差別——強化學習後訓練讓機器人可靠到真正能夠出貨。
- 世界模型與規劃, 2022: 在行動前先想像結果的生成模型——透過模擬進行規劃。 實際應用:機器人先思考再行動——在腦中模擬結果以避免犯錯,就像棋手預先規劃好幾步棋一樣。
里程碑
- 2022: Code as Policies: LLM 根據自然語言撰寫可執行的機器人策略程式碼——反應式控制器、空間推理,無需微調。
- 2022: RT-1: Robotics Transformer: 第一個用於真實世界機器人控制的大規模 Transformer;吸收了涵蓋 700+ 項任務的 130k 筆示範。
- 2022: Behavior Transformers(BeT): 將離線強化學習建模為序列建模問題——以 k-means 將多模態動作分布離散化。
- 2022: VIMA: 以一則混合文字與影像的提示把任務交給機器人,並以 VIMA-Bench 基準測試這種方式能泛化到什麼程度。
- 2022: Gato: 一個網路、一組權重,就能玩 Atari、為影像產生說明文字、聊天,並以真實機器手臂堆疊積木。
- 2022: DayDreamer: 完全透過想像學習機器人行為——在學習而得的世界模型中訓練策略,再以零樣本方式部署到真實硬體上。
- 2022: SayCan: 結合 LLM 與學習而得的可供性——由 LLM 規劃,價值函數則將規劃落實到機器人實際能做的事情上。
- 2023: Eureka: GPT-4 撰寫並反覆改進強化學習獎勵函數,在 10 種機器人形態的 29 項任務中,有 83% 表現優於人類專家。
- 2023: RT-2: Vision-Language-Action: 開創了 VLA 範式——微調 VLM,使其直接以文字標記輸出機器人動作。
- 2023: ALOHA(ACT): 低成本($20k)的雙臂遠端操作硬體 + Action Chunking with Transformers(ACT)。
- 2023: Diffusion Policy: 將去噪擴散應用於視覺運動策略學習;成為操作任務的首選架構。
- 2023: UniPi: 開創以影片生成作為機器人策略的做法——根據文字生成一段「期望的未來」影片,再透過逆動力學擷取動作。奠定了整個「影片到動作」研究範式。
- 2023: PaLM-E: 將影像與機器人狀態直接輸入大型語言模型,讓單一 562B 參數模型就能看見、推理並規劃機器人任務。
- 2024: RDT-1B: 用於雙臂機器人的 1.2B 參數擴散 Transformer,在當時規模最大的多機器人資料集上預訓練。
- 2024: OpenVLA: 以 970k 筆片段訓練的 7B 開源 VLA;比 RT-2-X 好 16.5%,體積卻小了 7 倍。
- 2024: CogACT: 讓認知與動作協同運作——在統一的 VLA 中分開推理模組與運動模組。
- 2024: Open X-Embodiment & RT-X: 規模最大的跨機器人形態資料集(1M+ 筆片段、22 種機器人),讓通用策略成為可能。
- 2024: Mobile ALOHA: 將雙臂裝在移動底盤上——全身遠端操作,成本 $32k。
- 2024: UMI: 用一台 GoPro 加一個夾爪就能隨處蒐集操作示範——資料蒐集期間完全不需要機器人。
- 2024: DROID 資料集: 涵蓋 564 個場景、84 項任務、13 個機構的 76K 筆示範——規模最大、最多樣化的真實環境操作資料集。
- 2024: LeRobot: Hugging Face 的開源 PyTorch 機器人學習框架——標準化資料集、SOTA 策略,GitHub 星數 12K+。
- 2024: HIL-SERL: 確立以強化學習後訓練,將示範等級的表現提升到可部署等級的路徑——透過人在迴路的強化學習,只需 1-2.5 小時就達到近乎完美的成功率。發表於 Science Robotics。
- 2024: Octo: 第一個被廣泛採用的通用機器人策略;以 Open X-Embodiment 訓練,數小時內即可完成微調。
- 2024: π₀ (pi-zero): 採用流匹配的 VLA——第一個能跨機器人形態執行 7+ 項靈巧任務的單一策略。
- 2025: SmolVLA: 高效的 250M VLA,表現可比更大的模型——可在消費級 GPU 上執行,數小時內完成訓練。
- 2025: RL-100: 真實世界強化學習讓擴散策略在八項真實機器人任務上達到 100% 成功率,1,000 個回合中 1,000 個成功。
- 2025: Instant Policy: 透過圖擴散實現情境內模仿學習——只需一次示範就能適應新任務。
- 2025: π₀.5: 第一個具備真正開放世界泛化能力的 VLA——能在從未見過的全新住家中執行長時程任務。
- 2025: GR00T N1: NVIDIA 的人形機器人基礎模型——雙系統(快/慢)架構。
- 2025: π₀-FAST: 以 DCT 為基礎的動作標記化,讓自迴歸 VLA 能以低 5 倍的訓練成本達到與擴散式 π₀ 相當的表現。
- 2025: π-RL: 讓以 flow matching 為基礎的 VLA 能以線上強化學習訓練:在模擬中,少樣本 π₀.₅ 在 LIBERO 上從 77.1% 提升到 98.3%。
- 2026: DreamZero: 建立在影片擴散上的世界動作模型,同時預測未來畫面與動作——泛化能力比 VLA 高出 2 倍以上,只需極少資料就能跨機器人形態遷移。
- 2026: RL Token: 透過單一精簡的「RL token」加上小型 actor-critic 頭部,在預訓練 VLA 上啟動線上強化學習——能在數分鐘到數小時內微調真實機器人策略,速度最多提升 3 倍;有時甚至比人類遠端操作更快。