Foundation model per la robotica
Modelli visione-linguaggio-azione aperti per la robotica come Octo, WALL-OSS e Pelican-VL: pesi, dati di addestramento e requisiti hardware.
Modelli fondazionali
- Dexmal DM0.5: Dexmal DM0.5: modello Vision-Language-Action aperto con base Gemma 3 da 4B, action expert da 680M, fino a 60 s di memoria e supporto LeRobot.
- Runway Praxis-1: Runway Praxis-1: un world action model aperto da 27B che trasforma il pretraining video in controllo dei robot, con checkpoint DROID, YAM e base.
- NVIDIA Cosmos 3: NVIDIA Cosmos 3: modelli del mondo omnimodali aperti da 4B, 16B e 64B che ragionano sulle scene, generano video e suono e producono azioni robot.
- NVIDIA Alpamayo: NVIDIA Alpamayo: modelli VLA aperti per la guida autonoma da 2B a 34B che danno una traiettoria e un ragionamento scritto, più AlpaSim e AlpaGym.
- MolmoBot: MolmoBot è la policy aperta di manipolazione robotica di Ai2, addestrata solo con dati simulati. Funziona su un Franka DROID senza fine-tuning su dati reali.
- T-Rex: T-Rex è un VLA tattile con licenza MIT di UC Berkeley, NVIDIA e Stanford che corregge a metà azione i movimenti di mani robotiche in base al tatto.
- DeFM: DeFM, il foundation model aperto per la profondità dell'ETH di Zurigo: un encoder in stile DINO addestrato su 60,4M di immagini di profondità, rilasciato come 12 modelli Apache-2.0 da 3M a 304M di parametri.
- GEAR-SONIC: GEAR-SONIC è il controller aperto per umanoidi di NVIDIA: una policy addestrata su 700 ore di motion capture comanda l'Unitree G1 da un pianificatore, da VR o da un VLA.
- Rho: Rho è il modello Vision-Language-Action (VLA) da 5B di Microsoft Research con licenza MIT, con varianti sottoposte a midtraining per YAM Box, UR AI Trainer e FR3 Duo.
- MolmoAct2: MolmoAct2 è il modello vision-language-action Apache-2.0 di Ai2, con checkpoint di base e con fine-tuning per Franka, SO-100/101, YAM bimanuale e LIBERO.
- Perceptron Isaac 0.5: Perceptron Isaac 0.5: un modello Vision-Language-Action (VLA) sparso e aperto da 36B che unisce comprensione dei video, ragionamento incarnato e controllo dei robot. Apache-2.0.
- Octo: Octo è la prima policy robotica generalista completamente open source: un modello transformer + diffusione addestrato su 800k traiettorie di Open X-Embodiment, con licenza MIT.
- RynnBrain: Foundation model incarnati aperti di Alibaba DAMO Academy per la percezione, il ragionamento e la pianificazione delle azioni dei robot.
- LingBot-VLA: Foundation model VLA da 4B parametri addestrato su 20.000 ore di dati bimanuali da 9 piattaforme robotiche per una manipolazione universale
- Xiaomi-Robotics-0: Modello VLA da 4,7B parametri che combina Qwen3-VL con un Diffusion Transformer per il controllo dei robot in tempo reale a 30 Hz
- Pelican-VL: Famiglia open source di modelli di cervello incarnato (3B-72B) per la robotica umanoide con ragionamento fisico
- HoloMotion: Foundation model per il controllo del corpo intero degli umanoidi, con pipeline end-to-end dai dati di movimento al deployment reale con ROS2
- WALL-OSS: WALL-OSS è un modello Vision-Language-Action da 4B parametri che permette ai robot di svolgere compiti di manipolazione complessi a partire da istruzioni in linguaggio naturale.
- DreamZero: World Action Model NVIDIA da 14B per il controllo zero-shot dei robot tramite previsione congiunta di video e azioni
- Cosmos Predict 2.5: NVIDIA Cosmos Predict 2.5 è un world foundation model per la Physical AI che simula stati futuri del mondo tramite video, unificando la generazione Text2World e Video2World.
- GalaxeaVLA: GalaxeaVLA: i modelli VLA a pesi aperti di Galaxea (G0.5, G0 Plus, G0) per la manipolazione su robot reali. G0.5 e G0 Plus sono non commerciali.
- InternVLA-A1: Modello VLA unificato che integra comprensione visiva, ragionamento linguistico e generazione di azioni robotiche
- VLA-0: VLA-0 è un modello Vision-Language-Action che rappresenta le azioni del robot direttamente come testo, basato su Qwen2.5-VL-3B, con risultati allo stato dell'arte su diversi benchmark.
- NVIDIA Isaac GR00T: NVIDIA Isaac GR00T N1.5 è un foundation model aperto per robot umanoidi che elabora input multimodali per generare azioni di tutto il corpo per compiti di loco-manipolazione.
- OpenPI: OpenPI fornisce i foundation model VLA open source di Physical Intelligence (pi0, pi0-FAST, pi0.5) per il controllo generale dei robot, pre-addestrati su oltre 10.000 ore di dati.
- SmolVLA: SmolVLA è un modello Vision-Language-Action (VLA) compatto da 450M di parametri di HuggingFace che gira su hardware consumer, addestrato su dataset open source di LeRobot.
- X-VLA: X-VLA è un foundation model Vision-Language-Action cross-embodiment che scala su robot diversi usando embedding apprendibili con soft prompt e una base unificata.
- OpenVLA: OpenVLA è un modello Vision-Language-Action open source da 7B parametri per la manipolazione robotica, addestrato su 970K dimostrazioni reali, che supera RT-2-X (55B) del 16,5%.
- ACT (Action Chunking with Transformers): ACT (Action Chunking with Transformers) è un metodo di apprendimento delle policy basato su Transformer per la manipolazione robotica bimanuale fine tramite apprendimento per imitazione.