Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

InternVLA-A1

整合理解、生成與動作的 VLA 模型,用於機器人操作

授權條款

CC BY-NC-SA 4.0

概述

一個用於機器人操作的統一視覺語言動作(VLA)模型,整合了理解、生成與動作能力。讓機器人能理解視覺場景、生成動作序列並執行實體操作。具備處理視覺輸入的多模態理解、產生馬達指令的動作生成,以及針對客製任務的微調支援。建構於 LeRobot v3.0 架構之上,已釋出 3B 參數版本(2B 版本已宣布但尚未公開)。

InternVLA-A1 代表一種統一的視覺語言動作(VLA)建模方法,在單一神經網路架構中整合了視覺理解、視覺預見生成與機器人動作預測。這個模型建構於 LeRobot v3.0 框架之上,以 30 億參數的配置釋出,並已宣布將推出 20 億參數的版本。這種統一架構與傳統的模組化機器人系統不同,它學習連結視覺感知、語言理解與馬達控制的聯合表徵,讓模型對操作任務能進行更連貫的推理。在動作預測之外整合理解與生成能力,讓模型能以端對端的方式解讀複雜的視覺場景、透過語言推理任務,並產生適當的馬達指令。

為何重要

InternVLA-A1 代表新一代的統一機器人模型,能在單一架構中看見、以語言推理並採取行動。它整合了視覺理解、視覺預見生成與動作預測,超越了簡單的 VLA 模型。

解決的問題

目前的機器人系統分別使用不同的模型處理感知、規劃與控制。InternVLA-A1 將這些統一到單一模型中,能理解場景、以自然語言推理任務,並輸出機器人動作。

重點

  • 結合視覺理解、視覺預見生成與動作預測的統一模型
  • 讓機器人能理解視覺場景並生成操作計畫
  • 單一架構處理多種模態,無需獨立模組
  • 以 InternVL 為基礎,並經過機器人專用的微調
  • 在各種操作任務上展現強大的泛化能力

適用對象

  • 建構統一感知動作模型的研究人員
  • 為操作任務開發 VLA 架構的團隊
  • 研究多模態機器人學習的實驗室
  • 探索以基礎模型進行機器人控制的公司

限制

  • 大型模型在推論時需要大量 GPU 記憶體
  • 真實世界部署需要謹慎的模擬到現實(sim-to-real)調適
  • 訓練需要大量運算資源
  • 統一架構可能以專精度換取通用性

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。