Perceptron Isaac 0.5
開放的 36B 稀疏 VLA,統一影片理解、具身推理與控制
授權條款
Apache-2.0
概述
Isaac 0.5 是 Perceptron 推出的開放 360 億參數稀疏基礎模型,將影片理解、具身推理與機器人控制放在同一個骨幹上。它讀取影像、影片、語言指令、機器人狀態與先前的動作,並輸出文字、正規化座標、任務狀態估計或機器人動作。訓練資料涵蓋超過 35 種機器人系統、100,000 小時的機器人經驗、一百萬小時的一般影片,以及三兆個多模態 token,感知、定位、任務進度與動作從一開始就共同訓練,而非事後拼接。連續控制來自一個 Flow 專家與一個 36 個區塊的擴散 Transformer;離散控制則使用另一套 2,048 個 token 的 FAST 詞彙。權重以 Apache-2.0 授權放在 Hugging Face 上,訓練、推論、LeRobot 整合與參考策略伺服器則放在同樣採用 Apache-2.0 的配套儲存庫中。
骨幹是一個 36B 的 Qwen 系列視覺語言模型,帶有稀疏混合專家層:每個 token 可接觸 256 個學習而得的專家加上一條空路由,從中選用零到八個,而一個共享專家與殘差路徑則始終保持啟用,因此路由運算量會隨視覺、語言、狀態與動作 token 而不同。文字、視覺、時間、機器人狀態與動作歷史進入同一個打包序列,自迴歸介面則輸出文字、座標、任務狀態輸出與離散動作。連續的動作區塊來自一個以骨幹狀態為條件的獨立 Flow 專家,驅動一個 36 個區塊的擴散 Transformer。在閉迴路控制期間,Isaac 會在目前的區塊仍在執行時,利用最新的觀測與已送出的指令預測下一個區塊。最具影響力的公開結果,是一條連結一般影片與遠端操作的縮放定律:在保留集動作損失為 2.50 時,以 1,000 小時一般影片訓練的模型約需 5,900 小時的遠端操作資料,而以一百萬小時影片訓練的模型只需約 28 小時,減少了 210 倍。
為何重要
開放的機器人策略大多以機器人資料訓練,而這是收集成本最高的資料。Isaac 同時公開了一個模型,以及一般影片能在多大程度上取代遠端操作的量測結果,讓「該收集更多影片,還是更多機器人時數?」從直覺判斷變成預算問題。它也在寬鬆授權下將感知與控制放在同一個骨幹上,因此同一個檢查點既可以當作策略,也可以當作規劃器的視覺前端,或是標註引擎。
解決的問題
訓練機器人策略一向意味著收集機器人資料,卻沒有人能說出一般影片相當於多少遠端操作時數。Isaac 同時提供了這種規模的開放模型與這項量測結果。
重點
- 36B 稀疏混合專家骨幹:每層有 256 個專家加上一條空路由,每個 token 選用零到八個,並有一個始終啟用的共享專家
- 單一模型涵蓋影片理解、指向與追蹤、任務進度估計與動作生成,採共同訓練而非拼裝而成
- 兩種動作介面:搭配 36 個區塊擴散 Transformer 的 Flow 專家用於連續區塊,2,048 個 token 的 FAST 詞彙用於離散控制
- 即時閉迴路運作:在目前的動作區塊執行時預測下一個區塊,並以已送出的指令為條件
- 公開的縮放定律:將一般影片從 1,000 小時增加到 1,000,000 小時,使達到相同動作損失所需的遠端操作資料從約 5,900 小時降至約 28 小時
- Hugging Face 上的權重,以及訓練、推論與 LeRobot 整合程式碼,皆採用 Apache-2.0
適用對象
- 以自己的示範資料微調開放 VLA 的團隊
- 正在決定如何在影片與遠端操作之間分配資料預算的機器人學習團隊
- 希望以單一檢查點處理感知、定位與控制,而非使用三個模型的開發者
- 尋找真正可以下載之前沿規模策略的 LeRobot 使用者
限制
- 此檢查點無法透過原版 Transformers 或原專案 LeRobot 執行:需要使用鎖定在特定 commit 的 Perceptron Isaac 儲存庫
- 兩個執行階段元件 mHarmony 與 TensorStream 在儲存庫之外維護,README 表示,僅有乾淨的 checkout 尚不足以進行渲染、訓練或推論
- 36B 參數的模型部署起來規模很大;Perceptron 未公布最低 GPU 或記憶體需求
- 模型與程式碼儲存庫皆於 2026 年 8 月下旬發布,因此尚無任何人在 Perceptron 以外部署的實績
- 縮放定律是以保留集動作損失而非任務成功率衡量,且使用的是 Perceptron 自己的資料組合