Framework di manipolazione full-stack: dalla stampa 3D alle diffusion policy
- Costruttore: Thanh Nguyen (LAAS-CNRS)
Un framework di manipolazione full-stack completo, realizzato da un dottorando in robotica del LAAS-CNRS, che copre tutto, dalla stampa 3D di un SO-ARM100 all'esecuzione di diffusion policy e di modelli vision-language-action (VLA): la guida software più completa per la piattaforma SO-100/101.
Cosa è stato costruito
Thanh Nguyen, dottorando nel team di robotica Gepetto del LAAS-CNRS (Toulouse, France), ha creato un framework full-stack modulare che porta il SO-ARM100 da semplice braccio azionato da servo a piattaforma di manipolazione di livello da ricerca:
- Stack hardware: modello URDF, identificazione del sistema, linee guida per la stampa 3D - Stima dello stato: fusione dei sensori su più fonti: telecamera, motion capture e unità di misura inerziale (IMU) - Simulazione: piena integrazione con MuJoCo, Gazebo e NVIDIA Isaac Sim - Controllo basato su modello: pianificazione del movimento MoveIt 2, visual servoing, MPC - Stack basato sull'apprendimento: diffusion policy di LeRobot, addestramento RL, ricerca su VLA (vision-language-action) - Valutazione: framework di benchmarking per confrontare gli approcci
Architettura tecnica
Il progetto segue una struttura modulare ordinata:
``` fullstack-manip/ ├── hardware/ # Modelli del robot, CAD, identificazione del sistema ├── state_estimation/ # Fusione multisensore, calibrazione ├── simulation/ # Ambienti MuJoCo, Gazebo, Isaac Sim ├── control/ # Controller di basso e alto livello ├── planning/ # Pianificazione del movimento MoveIt 2 ├── perception/ # Visual servoing, moduli di visione ├── learning/ # RL, VLA, dataset, integrazione LeRobot ├── evaluation/ # Benchmarking e metriche └── docs/ # Documentazione completa ```
Ogni modulo è progettato per funzionare in modo indipendente o come parte della pipeline completa, così è facile usare solo lo stack di simulazione, solo la pipeline di apprendimento o il sistema completo.
Perché è importante
Mentre la maggior parte delle costruzioni SO-100/101 si concentra su un solo aspetto (di solito l'apprendimento per imitazione con LeRobot), questo progetto copre in modo unico l'intero stack software robotico, dal controllo classico basato su modello fino agli approcci moderni basati sull'apprendimento. Questo lo rende prezioso come:
1. Risorsa didattica: documentazione di livello dottorale che copre sia gli approcci classici sia quelli moderni 2. Piattaforma di ricerca: infrastruttura già pronta per confrontare la manipolazione basata su modello con quella basata sull'apprendimento 3. Implementazione di riferimento: mostra come integrare correttamente ROS2, MoveIt, MuJoCo, Isaac Sim e LeRobot con il SO-ARM100
Il repository da 67 commit con licenza Apache 2.0 e documentazione completa (oltre 12 documenti tecnici dettagliati) rappresenta una delle trattazioni software più approfondite di qualsiasi costruzione di braccio robotico open source.
Informazioni sul costruttore
Thanh Nguyen lavora nel team Gepetto del LAAS-CNRS, uno dei principali laboratori di robotica francesi, noto per i suoi contributi alla locomozione degli umanoidi e al controllo ottimo. Questo rigore accademico si riflette nell'approccio sistematico del progetto alla documentazione e all'architettura software.
Dettagli
- firmware: FEETECH STS3215 servo driver
- difficulty: Advanced
- build_duration: Ongoing research project
- estimated_cost: €200-400
- control_interfaces: ROS2 topics, MoveIt 2, MuJoCo, Isaac Sim, LeRobot, VLA
Foto e video
- fullstack-manip — Full-Stack Manipulation Framework: Modular framework covering hardware, simulation (MuJoCo/Gazebo/Isaac Sim), control (MoveIt 2), and learning (LeRobot/VLA). 67 commits, Apache 2.0 license.
- Full-Stack Manipulation with SO-ARM100 — Blog Post: Comprehensive blog post covering the entire journey from 3D printing to running diffusion policies, with detailed technical breakdowns of each software layer.
- LAAS-CNRS Gepetto Team: Builder's research group at LAAS-CNRS (Toulouse, France), known for humanoid locomotion and optimal control research.
Link
- Costruttore: https://github.com/thanhndv212