Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Ricerca in robotica

Esplora articoli di ricerca, libri, corsi e risorse accademiche di robotica.

Articoli

  • Learning Heterogeneous Tactile Representation for General Dexterous Manipulation: Un encoder addestrato con JEPA porta sensori piezoresistivi, magnetici e visuotattili in un unico spazio del polpastrello; congelato, migliora quattro policy di 13,9–24,8 punti su 26 compiti reali e funziona su un sensore non visto.
  • SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model: Il tracking di grandi dataset di movimento umano è diventato la via principale verso un controllo del corpo intero umanoide generale ed espressivo, ma scalare su molti movimenti è costoso. Le pipeline attuali usano l'apprendimento per rinforzo senza modello, fondendo specialisti per singolo…
  • Learning from Fleet Experience: A Collective Learning Paradigm for Robots: I robot dispiegati condividono le esecuzioni riuscite e i fallimenti decidono su quali riaddestrare. Con fino a 96 robot AgiBot G2 e nessuna nuova azione di esperti, cinque compiti raggiungono il 93,3–99,2% di successo.
  • Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions: Nonostante i recenti progressi nell'apprendimento delle policy, la manipolazione a lungo orizzonte resta difficile perché le policy apprese devono evitare l'accumulo di errori preservando al tempo stesso la fattibilità futura. Sebbene la pianificazione basata sulla ricerca possa ragionare…
  • Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence: Un VLA congelato viene avvolto in critici e abilità di recupero basati su codice che gli agenti diagnosticano, riparano e convalidano a partire da rollout simulati falliti, portando il successo su RoboCasa dal 73,6% al 93,6%.
  • RoboTTT: Context Scaling for Robot Policies: I livelli di test-time training danno a una policy GR00T N1.7 una memoria di 8K istanti temporali (circa cinque minuti) a costo fisso per azione: 79% di completamento contro il 42% del modello di base, imitazione one-shot da un video umano e i soli assemblaggi completi di cinque minuti.
  • Flatness-Preserving Residual Learning for Real-Time Tight Quadrotor Formation Flight: Un residuo di downwash che dipende solo da posizioni e velocità mantiene piatta la dinamica di due quadricotteri, così un controllore economico basato sulla piattezza eguaglia l'inseguimento dell'NMPC con circa 20x meno tempo di risoluzione.
  • NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception: Un modello di attuatore Transformer per bracci a servo a basso costo, addestrato tramite MuJoCo differenziabile a partire da dati di posa, stima la forza all'end effector senza sensore di forza e migliora l'imitazione basata sulla forza.
  • Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?: I robot a più dita promettono la velocità e la destrezza delle mani umane, ma problemi difficili come l'assemblaggio di precisione sono rimasti fuori portata. Questi compiti sono ricchi di contatti, il che rende difficile raccogliere dati per l'apprendimento per imitazione, e a ricompensa sparsa, il…
  • Geometric Action Model for Robot Policy Learning: Divide un modello geometrico 3D preaddestrato e inserisce un predittore causale così che un solo backbone preveda profondità e azioni future: 1,4B parametri, 6,9 ms per passo, 83,1% con spostamenti della telecamera in LIBERO-Plus.
  • FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning: NEXT stima la coppia esterna ai giunti di bracci senza sensore di forza dopo 10 minuti di movimento libero e 1 minuto di addestramento, per una teleoperazione con ritorno di forza e policy migliori su un Piper da 2.500 dollari. Orale a CoRL 2026.
  • GRAIL: Generating Humanoid Loco-Manipulation from World Models: Scalare la loco-manipolazione umanoide richiede dimostrazioni compatibili con il robot che coprano oggetti diversi, movimenti di tutto il corpo e geometrie di scena, ma la teleoperazione e la motion capture sono difficili da scalare perché ogni raccolta dipende da allestimenti fisici, attori…
  • What Are We Actually Benchmarking in Robot Manipulation?: Un punteggio di benchmark in robotica misura il successo in una configurazione di valutazione fissa, eppure viene trattato di routine come prova di una capacità generale di manipolazione. Individuiamo quattro modi di fallimento, ognuno dei quali indebolisce o invalida il ruolo di un benchmark come…
  • Muninn: Your Trajectory Diffusion Model But Faster: Muninn decide a ogni passo di denoising se riutilizzare un output del denoiser in cache, ottenendo una pianificazione a diffusione fino a 4,6x più veloce con un limite calibrato sulla deviazione rispetto al piano a calcolo completo.
  • RLDX-1 Technical Report: RLDX-1 aggiunge flussi di movimento, memoria e coppia/tatto a un VLA di flow matching basato su Qwen3-VL e batte π0.5 e GR00T N1.6 in simulazione e sui robot ALLEX, OpenArm e Franka.
  • MolmoAct2: Action Reasoning Models for Real-World Deployment: MolmoAct2 è un VLA completamente aperto, con pesi, codice e dati di addestramento. Senza ulteriore addestramento ottiene l'87,1% su cinque compiti reali con Franka DROID contro il 45,2% di π0.5-DROID, e il 56,7% su un braccio SO-100; spotlight a CoRL 2026.
  • RL Token: Bootstrapping Online RL with Vision-Language-Action Models: RL Token (RLT) avvia l'RL online sopra un VLA preaddestrato tramite un unico token di lettura compatto più una piccola testa actor-critic: fine-tuning di policy su robot reali in minuti od ore, con guadagni di velocità fino a 3×.
  • π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities: π0.7 è il modello robotico da 5B di Physical Intelligence, guidato da sottopassi, immagini di sotto-obiettivo generate ed etichette di qualità. Un checkpoint eguaglia specialisti con fine-tuning e piega camicie su un robot senza dati di piegatura. Orale a CoRL 2026; né codice né pesi.
  • FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control: FlashSAC stabilizza Soft Actor-Critic con reti grandi, batch grandi, pochi aggiornamenti e norme limitate, batte PPO sui task ad alta dimensionalità e riduce a minuti l'addestramento sim-to-real del G1.
  • Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops: Presentiamo Kamino, un risolutore fisico basato su GPU per simulazioni massivamente parallele di sistemi meccanici eterogenei e fortemente accoppiati. Implementato in Python con NVIDIA Warp e integrato nel framework Newton, consente di applicare metodi basati sui dati, come l'apprendimento per…
  • MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation: Un'opinione prevalente nell'apprendimento robotico è che la simulazione da sola non basti; si ritiene comunemente che un trasferimento sim-to-real efficace richieda almeno una certa raccolta di dati reali o un fine-tuning specifico per il compito per colmare il divario tra ambienti simulati e…
  • cuNRTO: GPU-Accelerated Nonlinear Robust Trajectory Optimization: cuNRTO rielabora il solutore interno dell'ottimizzazione robusta non lineare delle traiettorie in modo che le proiezioni coniche girino in parallelo su una GPU, riducendo i tempi di risoluzione fino a 139,6x rispetto ai metodi a punto interno.
  • LeRobot: An Open-Source Library for End-to-End Robot Learning: LeRobot è una libreria PyTorch open source che copre l'intero stack dell'apprendimento robotico: middleware per i motori di bracci a basso costo, un formato di dataset comune con streaming, policy pronte come ACT, Diffusion Policy, pi0 e SmolVLA, e uno stack di inferenza asincrona.
  • World Action Models are Zero-shot Policies: Un backbone di diffusione video predice congiuntamente fotogrammi futuri e azioni: generalizzazione 2 volte migliore dei VLA e adattamento a un nuovo embodiment robotico con appena 30 minuti di dati di gioco libero.
  • VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model: Usiamo i rollout di un modello del mondo per migliorare le prestazioni dei modelli Vision-Language-Action nel mondo reale.
  • OAT: Ordered Action Tokenization: OAT comprime un action chunk in 8 token ordinati, e qualsiasi prefisso si decodifica in un chunk valido. Le policy autoregressive che lo usano battono binning, FAST, QueST e diffusion policy.
  • Green-VLA: Staged Vision-Language-Action Model for Generalist Robots: Un unico VLA da ~4B addestrato in cinque stadi (dati web, preaddestramento multi-robot, adattamento al robot, RL) controlla un umanoide, robot a due bracci e a un braccio attraverso uno spazio d'azione condiviso a 64 slot.
  • Plant-Inspired Robot Design Metaphors for Ambient HRI: Uno studio di research-through-design che costruisce foglie, steli e vasi robotici simili a piante, li combina in quattro prototipi e ricava considerazioni di design da workshop con 11 persone.
  • Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization: Presentiamo Being-H0.5, un modello Vision-Language-Action (VLA) fondazionale progettato per una generalizzazione cross-embodiment robusta su piattaforme robotiche diverse. Mentre i VLA esistenti faticano spesso con l'eterogeneità morfologica e la scarsità di dati, proponiamo un paradigma di…
  • PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation: PointWorld unifica stato e azione in uno spazio 3D condiviso sotto forma di flussi di punti, portando i modelli del mondo 3D alla scala della manipolazione robotica nel mondo reale.
  • From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment: In un negozio di articoli per il letto in attività, un robot all'ingresso ha aumentato la quota di passanti che si fermavano ma ha ridotto approcci dei commessi, ingressi e acquisti per persona che si ferma; le interviste al personale spiegano perché.
  • Cognitive Trust in HRI: “Pay Attention to Me and I’ll Trust You Even If You Are Wrong”: La fiducia cognitiva, ovvero la convinzione che un robot sia in grado di svolgere i compiti con precisione, è riconosciuta come un fattore centrale per favorire interazioni uomo-robot di alta qualità. È ben noto che fattori di prestazione come la competenza del robot e la sua affidabilità plasmano…
  • Self-Improving Vision-Language-Action Models with Data Generation via Residual RL: PLD migliora una policy robotica VLA con dati che genera da sé: piccole policy residue di RL imparano a correggere i fallimenti del VLA, e le loro traiettorie servono ad affinare il VLA, senza dimostrazioni umane aggiuntive.
  • Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization: Il fine-tuning di OpenVLA sulle azioni del robot fa collassare le sue rappresentazioni visive; allineare le caratteristiche dello strato 16 a un teacher C-RADIOv3 congelato aumenta il successo OOD in Simpler, ad es. Carrot 0,49 → 0,61.
  • πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models: πRL consente di affinare con apprendimento per rinforzo online modelli Vision-Language-Action (VLA) basati sul flusso, come π₀ e π₀.₅; in simulazione porta π₀.₅ con poche dimostrazioni su LIBERO dal 77,1% al 98,3%.
  • RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning: La manipolazione robotica nel mondo reale, in casa e in fabbrica, richiede affidabilità, efficienza e robustezza che si avvicinino o superino quelle di operatori umani esperti. Presentiamo RL-100, un framework di apprendimento per rinforzo nel mondo reale basato su policy visuomotorie a diffusione.…
  • Spatial Forcing: Implicit Spatial Representation Alignment for Vision-Language-Action Models: Allineare gli embedding visivi dei VLA con la geometria di foundation model 3D dà ai modelli preaddestrati in 2D una consapevolezza spaziale senza sensori di profondità: risultati allo stato dell'arte e un addestramento fino a 3,8 volte più veloce.
  • Ctrl-World: A Controllable Generative World Model for Robot Manipulation: Proponiamo un modello del mondo controllabile per la manipolazione robotica, usato sia per la valutazione sia per il miglioramento delle policy.
  • LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization: LIBERO-PRO perturba oggetti, posizioni iniziali, istruzioni e scene di LIBERO. OpenVLA, pi0 e pi0.5 scendono dall'82–99 % a quasi lo 0 % con cambi di posizione e di task.
  • GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks: GRITS guida una Diffusion Policy in fase di test con un classificatore di fuoriuscite addestrato su 4000 raccolte simulate, riducendo le fuoriuscite nel mondo reale dal 45 % al 4 % su alimenti mai visti.
  • Kilometer-Scale GNSS-Denied UAV Navigation via Heightmap Gradients: A Winning System from the SPRIN-D Challenge: Il sistema vincitore della SPRIN-D Challenge: 9 km di volo di droni interamente di bordo in assenza di GNSS sotto i 25 m AGL, abbinando mappe di elevazione ricavate dal LiDAR a dati geografici preesistenti tramite template di gradiente fusi in un filtro a particelle a cluster, in tempo reale con la…
  • OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction: Il retargeting con mesh di interazione e vincoli cinematici rigidi trasforma la MoCap umana in riferimenti puliti per umanoidi; policy RL con 5 termini di ricompensa si trasferiscono zero-shot a un Unitree G1.
  • LocoFormer: Generalist Locomotion via Long-context Adaptation: LocoFormer addestra con RL un'unica policy Transformer-XL a contesto lungo su circa 100k robot generati proceduralmente; controlla robot mai visti zero-shot e migliora da una prova all'altra.
  • VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model: Un modulo di policy Bridge Attention permette a un VLA da 0,5B di parametri di ottenere risultati di livello stato dell'arte senza preaddestramento su dati robotici, addestrato in circa 8 ore su una sola GPU consumer.
  • Geometry-Aware Predictive Safety Filters on Humanoids: From Poisson Safety Functions to CBF Constrained MPC: Funzioni di sicurezza di Poisson calcolate dalla percezione ed estese nel tempo e nell'orientamento del robot alimentano un MPC con vincoli CBF che guida i robot G1 e Go2 attorno a ostacoli mobili e statici.
  • GeoVLA: Empowering 3D Representations in Vision-Language-Action Models: GeoVLA inserisce una nuvola di punti ricavata dalla profondità, codificata attorno all'end effector, in una testa d'azione a diffusione accanto alle feature del VLM, e regge meglio i cambi di altezza, dimensione e punto di vista.
  • Self-Wearing Adaptive Garments via Soft Robotic Unfurling: SWAG aggiunge a un indumento piccoli robot liana (vine robot) gonfiabili in modo che si srotoli sull'arto a partire dalla punta, infilando una manica, una giacca o un paio di pantaloni in 13-21 s senza che il tessuto strisci sulla pelle.
  • The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio: MultiGen abbina un simulatore fisico a un modello video-audio sottoposto a fine-tuning per creare dati audiovisivi di versamento, addestrando policy che versano liquidi reali zero-shot senza dati da robot reale.
  • Steering Your Diffusion Policy with Latent Space Reinforcement Learning: DSRL migliora una diffusion policy o una flow policy congelata addestrando una piccola policy RL che ne sceglie il rumore in ingresso, adattando robot reali e π0 in un numero di episodi che va da qualche decina a qualche centinaio.
  • GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics: Un VLA compatto per quadricotteri, addestrato con RL differenziabile in un simulatore di 3D Gaussian Splatting con una testa mixture-of-experts, gira interamente a bordo e segue istruzioni in linguaggio naturale.
  • ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation: Un modello di spinta a fisica residua con incertezza basata su NTK sceglie le spinte più informative su cui esercitarsi e quelle più affidabili con cui pianificare, migliorando l'efficienza dei dati e il successo di spingi-per-afferrare.
  • Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning: Fabrica pianifica sequenza, prese, attrezzature di fissaggio e movimenti per l'assemblaggio a due bracci a partire dalle mesh dei pezzi, poi usa policy di inserimento addestrate con RL che si trasferiscono zero-shot, raggiungendo l'80 % di passaggi reali riusciti.
  • SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics: I modelli visione-linguaggio addestrati su grandi dataset multimodali forniscono basi solide per le applicazioni robotiche. Metodi recenti adattano questi modelli in sistemi Vision-Language-Action che consentono un controllo guidato dal linguaggio naturale. Tuttavia, i sistemi esistenti contengono…
  • DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation: Un esoscheletro indossabile specifico per ogni mano più l'inpainting della mano robotica trasformano le dimostrazioni con la mano umana in dati di addestramento per la mano robotica, con l'86 % di successo medio su quattro compiti reali con due mani.
  • Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation: Un'unica policy di RL per robot con zampe accetta comandi di posizione e di forza e stima la forza esterna dalla cronologia dei giunti, offrendo un controllo cedevole e un'imitazione consapevole della forza senza sensori di forza.
  • FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields: Aggiunge a un NeRF dei frutti un campo di istanze addestrato in modo contrastivo, così che frutti di qualsiasi tipo possano essere contati con il clustering di una nuvola di punti 3D, senza modelli di forma specifici per ogni frutto.
  • Robo-DM: Data Management For Large Robot Datasets: Robo-DM memorizza i flussi video, linguistici e di azione di ogni episodio robotico in un unico file EBML con marcatura temporale, riducendo la dimensione fino a 70x rispetto a RLDS e caricando più velocemente di LeRobot.
  • Visual Imitation Enables Contextual Humanoid Control: VideoMimic ricostruisce persone e scene da video girati con lo smartphone, trasferisce il movimento con retargeting a un Unitree G1 e addestra un'unica policy che sale le scale e si siede o si alza a seconda del terreno.
  • PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies: PolyTouch riunisce tatto basato su telecamera, un microfono a contatto e visione periferica in un unico dito resistente; le Diffusion Policy tattili che lo usano battono le policy visuo-propriocettive in quattro compiti bimanuali.
  • Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation: Un modello appreso predice le pose future di ANYmal e il rischio di fallimento a partire da una scansione delle altezze e dalla cronologia propriocettiva, così un pianificatore MPPI può pianificare in sicurezza con un solo termine di obiettivo e un termine di rischio.
  • Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models: Immagini generate di una persona che esegue ogni sotto-compito forniscono contatti di mani e piedi e pose del robot ottenute con retargeting che guidano l'ottimizzazione di traiettoria del corpo intero in compiti umanoidi a lungo orizzonte.
  • π0.5: a Vision-Language-Action Model with Open-World Generalization: π0.5 è un VLA che ottiene una generalizzazione in mondo aperto tramite il co-addestramento su dati eterogenei (più robot, web, predizioni semantiche), consentendo compiti di manipolazione fine a lungo orizzonte come pulire cucine in case completamente nuove e mai viste prima.
  • Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets: Un unico diffusion transformer con passi temporali di rumore separati per le azioni e le immagini future funge da policy, modello di dinamica o predittore video, e può essere addestrato su video senza azioni.
  • GR00T N1: An Open Foundation Model for Generalist Humanoid Robots: Il modello VLA aperto a doppio sistema di NVIDIA per robot umanoidi: combina il ragionamento visione-linguaggio con un Transformer di diffusione per il controllo motorio in tempo reale, addestrato su oltre 1,3M traiettorie diversificate.
  • No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent: Seguire il gradiente più ripido attraverso una rete di stimatori interconnessi risolve Blocks World e l'apertura di cassetti reali senza pianificatore, adattandosi all'incertezza e ai disturbi.
  • Ro-To-Go! Robust Reactive Control with Signal Temporal Logic: Una nuova misura di robustezza STL che ignora il passato già eseguito, calcolata online tramite progressione delle formule, così che un pianificatore MPC possa ancora preferire futuri più sicuri dopo un quasi incidente iniziale.
  • FAST: Efficient Action Tokenization for Vision-Language-Action Models: FAST usa una compressione basata sulla trasformata discreta del coseno per la tokenizzazione delle azioni robotiche, permettendo ai VLA autoregressivi di gestire il controllo ad alta destrezza e ad alta frequenza in cui il binning standard fallisce, ed eguagliando i VLA a diffusione con un costo di…
  • OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints: Lo sviluppo di sistemi robotici generali capaci di manipolare in ambienti non strutturati è una sfida significativa. Sebbene i modelli Vision-Language (VLM) eccellano nel ragionamento di senso comune di alto livello, mancano della comprensione spaziale 3D fine necessaria per compiti di manipolazione…
  • RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation: La manipolazione bimanuale è essenziale in robotica, ma sviluppare foundation model è estremamente difficile a causa della complessità intrinseca del coordinamento di due bracci robotici (che porta a distribuzioni di azioni multimodali) e della scarsità di dati di addestramento. In questo articolo…
  • Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?: Le dimostrazioni generate con RRT hanno un'alta entropia delle azioni che danneggia il behavior cloning; dati di pianificazione più coerenti addestrano diffusion policy per compiti ricchi di contatti che si trasferiscono zero-shot all'hardware.
  • Navigation World Models: Un diffusion transformer da 1B parametri predice fotogrammi egocentrici futuri a partire da fotogrammi passati e azioni di navigazione, poi pianifica o ordina i percorsi confrontando il fotogramma finale immaginato con un'immagine obiettivo.
  • CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation: CogACT pone un modulo d'azione con Transformer a diffusione sopra un modello visione-linguaggio da 7B. Nella simulazione SIMPLER supera OpenVLA di oltre il 35% nel successo medio, e su due bracci reali del 55%.
  • Instant Policy: In-Context Imitation Learning via Graph Diffusion: Instant Policy impara un nuovo compito robotico da una o due dimostrazioni, senza ulteriore addestramento. Tratta l'imitazione in contesto come generazione di grafi con la diffusione ed è addestrato su pseudo-dimostrazioni generate in simulazione.
  • RoboCrowd: Scaling Robot Data Collection through Crowdsourcing: Una postazione di teleoperazione ALOHA in un bar universitario ha usato caramelle come ricompensa, compiti coinvolgenti e una classifica per raccogliere 817 episodi da 231 persone; i dati sono utili come preaddestramento per ACT.
  • pi0: A Vision-Language-Action Flow Model for General Robot Control: L'apprendimento robotico promette moltissimo per sbloccare il pieno potenziale di sistemi robotici flessibili, generali e ad alta destrezza, oltre che per affrontare alcune delle questioni più profonde dell'intelligenza artificiale. Tuttavia, portare l'apprendimento robotico al livello di generalità…
  • HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning: Un sistema di RL con l'essere umano nel ciclo, efficiente nell'uso dei campioni, che addestra policy di manipolazione nel mondo reale fino a un successo quasi perfetto in 1-2,5 ore, raddoppiando i tassi di successo dell'apprendimento per imitazione.
  • Deploying Ten Thousand Robots: Scalable Imitation Learning for Lifelong Multi-Agent Path Finding: SILLM imita un potente risolutore basato sulla ricerca, aggiunge comunicazione spaziale, guida del traffico e riparazione delle collisioni con PIBT, e pianifica per 10.000 agenti in meno di 1 s per passo con il throughput più alto.
  • GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation: Un modello in stile GPT preaddestrato a prevedere video su 38M clip dal web e poi sottoposto a fine-tuning per produrre fotogrammi futuri e traiettorie d'azione; 97,7 % di successo su 105 compiti reali da tavolo.
  • Robust Ladder Climbing with a Quadrupedal Robot: End effector a uncino e una policy di RL teacher-student permettono a un ANYmal D di salire zero-shot su scale a pioli inclinate di 70°–90°, con il 90 % di successo sull'hardware e una velocità media di 0,44 m/s.
  • Autonomous Hiking Trail Navigation Via Semantic Segmentation and Geometric Analysis: La semantica della telecamera e la geometria del LiDAR sono fuse in un'unica mappa di attraversabilità; un pianificatore di waypoint RRT* mantiene poi un robot Husky sul sentiero, ma lo porta fuori sentiero per aggirare i pericoli.
  • MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry: MAC-VO apprende l'incertezza del flusso e della profondità per pixel, la converte in covarianze 3D metriche complete dei punti chiave e le usa per selezionare i punti chiave e pesare l'ottimizzazione della posa tra due fotogrammi.
  • Perceptive pedipulation with local obstacle avoidance: Policy di RL end-to-end per ANYmal che insegue un comando di posizione del piede evitando gli ostacoli con tutto il corpo, usando una scansione delle altezze 2,5D e un interruttore che consente il contatto intenzionale del piede.
  • Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning: DWL addestra in Isaac Gym una policy di camminata per umanoidi che impara a ricostruire lo stato completo del robot dalla propriocezione rumorosa, poi gira senza modifiche su robot XBot reali su scale, pendii e neve.
  • ReMix: Optimizing Data Mixtures for Large Scale Imitation Learning: ReMix usa l'ottimizzazione distribuzionalmente robusta per gruppi sulla loss in eccesso di una policy per apprendere quanto campionare ciascun dataset robotico, battendo sui robot reali i pesi uniformi e i pesi degli esperti di RT-X.
  • RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors: RoPotter insegna a un robot a modellare l'argilla su un tornio da vasaio in due tipi di ciotola a partire da 40 dimostrazioni ciascuno, usando una sezione trasversale 2D dell'argilla e un recupero basato su mesh dei punti nascosti.
  • APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation: APriCoT suddivide un cambio di presa in mano in quattro brevi primitive di RL costruite da detach, crossover e attach, così una Shadow Hand Lite simulata ruota un oggetto di mezzo giro e raggiunge la presa obiettivo.
  • Equivariant Diffusion Policy: Equivariant Diffusion Policy integra la simmetria di rotazione SO(2) nel denoiser di Diffusion Policy, aumentando il successo medio in simulazione di 21,9 punti con 100 dimostrazioni e apprendendo compiti reali da 20-60 dimostrazioni.
  • PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators: Agente di navigazione indoor solo RGB che usa DINOv2 + Transformer causale addestrato con RL on-policy, con l'85,5% di successo su CHORES-S (miglioramento del 28,5%) e trasferimento sim-to-real zero-shot sui robot LoCoBot e Stretch.
  • HumanPlus: Humanoid Shadowing and Imitation from Humans: Una policy di RL addestrata su 40 h di movimento umano permette a un umanoide a 33-DoF di copiare un operatore ripreso da una sola telecamera RGB; quei dati di teleoperazione addestrano poi policy di abilità basate sulla visione con il 60–100 % di successo.
  • OpenVLA: An Open-Source Vision-Language-Action Model: Il primo modello VLA open source da 7B addestrato su 970k dimostrazioni robotiche, che supera del 16,5% il modello chiuso RT-2-X da 55B pur essendo 7 volte più piccolo e adattabile con fine-tuning su GPU consumer.
  • Configuration Space Distance Fields for Manipulation Planning: Definisce un campo di distanza direttamente sugli angoli dei giunti, così l'IK di corpo intero diventa una proiezione del gradiente in un solo passo e i pianificatori evitano i minimi locali che gli SDF causano su un Franka a 7-DoF.
  • Octo: An Open-Source Generalist Robot Policy: La prima policy robotica generalista open source addestrata su 800k traiettorie, con condizionamento tramite linguaggio e immagini obiettivo su 9 piattaforme e un fine-tuning efficiente su GPU consumer.
  • Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation: Microfoni a contatto piezoelettrici trasformano il tatto in audio, così un encoder pre-addestrato sui video di AudioSet si trasferisce alla manipolazione e supera le policy solo visive e quelle audio addestrate da zero in tre compiti reali.
  • Evaluating Real-World Robot Manipulation Policies in Simulation: SIMPLER: versioni simulate open source delle configurazioni Google Robot e WidowX/BridgeData V2 le cui classifiche delle policy seguono i risultati reali (MMRV 0,031, r 0,976 su Pick Coke Can).
  • ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection: Modella il moto delle due mani come un giunto elicoidale (screw joint) a 1 DoF, lo estrae da un video RGB-D di una persona e lo affina su un Tiago++ tramite ricerca nello spazio elicoidale; 16 prove su 18 riescono in sei compiti.
  • Under Pressure: Learning-Based Analog Gauge Reading in the Wild: Lettore di strumenti passo per passo che non richiede il tipo di strumento né l'intervallo della scala: errore relativo di circa l'1 % quando l'OCR legge la scala, 2,01 % medio sui dati di Howells et al.; l'OCR è il principale punto di errore.
  • DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset: DROID è un dataset open source di manipolazione robotica con 76K dimostrazioni in 564 scene e 84 compiti, raccolti da 50 persone in 13 istituzioni nel mondo su hardware Franka standardizzato, che mostra miglioramenti delle prestazioni delle policy di circa il 20%.
  • 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations: Una diffusion policy basata su nuvole di punti 3D che generalizza rispetto a punti di vista, oggetti e configurazioni spaziali, con l'85% di successo nel mondo reale con appena 40 dimostrazioni.
  • CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting: Il fine-tuning di un modello text-to-image sulle pennellate simulate di un robot pittore gli insegna che cosa il robot può dipingere e come estendere l'opera umana, riducendo il divario sim-to-real semantico da 0,241 a 0,035.
  • Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots: Presentiamo Universal Manipulation Interface (UMI), un framework di raccolta dati e apprendimento delle policy che permette il trasferimento diretto di abilità da dimostrazioni umane raccolte sul campo a policy robotiche pronte per l'impiego. UMI impiega pinze manuali abbinate a un'interfaccia…
  • Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality: Framework di realtà mista in cui un utente con HoloLens 2 e un quadricottero uniscono le loro mappe, e l'utente guida il drone con forze gestuali rese sicure dalla pianificazione RRT* e dalla repulsione dagli ostacoli.
  • Sim-to-Real of Soft Robots With Learned Residual Physics: Apprende una forza di volume residua su una simulazione FEM differenziabile di un soft robot a partire da marcatori di motion capture sparsi; l'errore sui marcatori scende del 60,3 % (trave) e del 31,9 % (braccio pneumatico) rispetto all'identificazione di sistema.
  • Workspace Optimization Techniques to Improve Prediction of Human Motion During Human-Robot Collaboration: Comprendere le intenzioni umane è fondamentale per una collaborazione uomo-robot sicura ed efficace. Sebbene i metodi allo stato dell'arte per la previsione degli obiettivi umani utilizzino modelli appresi per tenere conto dell'incertezza dei dati di movimento umano, tali dati sono intrinsecamente…
  • Integrating Flow Theory and Adaptive Robot Roles: A Conceptual Model of Dynamic Robot Role Adaptation for the Enhanced Flow Experience in Long-term Multi-person Human-Robot Interactions: Porre come obiettivo di adattamento di un robot di gruppo l'esperienza di flow degli utenti, un equilibrio tra sfida e abilità, e raggiungerlo spostando il ruolo di supporto del robot tra leader e follower.
  • Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation: Sistema di teleoperazione mobile bimanuale a basso costo che ottiene aumenti del tasso di successo fino al 90% in compiti domestici complessi con sole 50 dimostrazioni e il co-addestramento con dati ALOHA statici.
  • Foundation models in robotics: Applications, challenges, and the future: Rassegna dei foundation model in robotica, raggruppati in processo decisionale e controllo, percezione e IA incarnata (embodied AI), che si chiude con otto sfide aperte, dalla scarsità di dati alla sicurezza e all'uso in tempo reale.
  • SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention: SARA-RT applica un «up-training» a policy robotiche Transformer già addestrate perché usino l'attenzione lineare. Un modello RT-2 da 5B è stato più veloce del 14% su TPU con un'accuratezza simile sul robot reale, e le policy di presa su nuvole di punti hanno mantenuto circa 100 ms di inferenza con…
  • Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans: HOPMan prevede maschere future di mano e oggetto da un'immagine della scena e un'immagine obiettivo usando video dal web, poi traduce quel piano in azioni di un Franka Panda, coprendo 16 abilità e 40 oggetti in modo zero-shot.
  • NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System: NGEL-SLAM abbina il tracking e la chiusura del loop di ORB-SLAM3 a più sotto-mappe neurali basate su octree, così che la mappa densa venga riallineata rapidamente dopo la chiusura del loop invece di essere riaddestrata.
  • Eureka: Human-Level Reward Design via Coding Large Language Models: I grandi modelli linguistici (LLM) eccellono come pianificatori semantici di alto livello per compiti decisionali sequenziali. Tuttavia, sfruttarli per apprendere compiti complessi di manipolazione di basso livello, come far roteare con destrezza una penna, resta un problema aperto. Colmiamo questa…
  • Do We Run Large-Scale Multi-Robot Systems on the Edge? More Evidence for Two-Phase Performance in System Size Scaling: Le simulazioni di tre sistemi multi-robot mostrano le prestazioni che si dividono in esecuzioni quasi ottimali e quasi nulle oltre una dimensione critica dello sciame; un modello di popolazione collega il fenomeno a biforcazioni e transitori lunghi.
  • Open X-Embodiment: Robotic Learning Datasets and RT-X Models: Riunisce 60 dataset robotici (1M+ traiettorie, 22 robot, 21 istituzioni) in un unico formato. I modelli RT-X addestrati su di esso mostrano un trasferimento positivo: RT-1-X è migliore del 50% sui compiti con pochi dati e RT-2-X circa 3 volte migliore sulle abilità emergenti.
  • Universal Visual Decomposer: Long-Horizon Manipulation Made Easy: UVD trova i sotto-obiettivi nei video dimostrativi dove le distanze tra embedding visivi pre-addestrati smettono di diminuire, poi li usa per l'apprendimento per imitazione condizionato all'obiettivo e per il reward shaping.
  • NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration: Un'unica diffusion policy con un'immagine obiettivo opzionale e mascherabile gestisce sia l'esplorazione sia il raggiungimento dell'obiettivo; su un LoCoBot ha battuto la diffusione di sotto-obiettivi in forma di immagine con un modello circa 15× più piccolo.
  • Exoskeleton-Mediated Physical Human-Human Interaction for a Sit-to-Stand Rehabilitation Task: Accoppia due esoscheletri per gli arti inferiori X2 tramite una molla-smorzatore virtuale, così un terapista e un paziente condividono un compito da seduto a in piedi, con un controllo del corpo intero basato su QP che aggiunge assistenza e limiti di equilibrio.
  • PV-OSIMr: A Lowest Order Complexity Algorithm for Computing the Delassus Matrix: Riordina i calcoli di PV-OSIM in modo che i vincoli propagati non superino mai sei dimensioni, ottenendo un calcolo della matrice di Delassus in O(n + m²), che gli autori dimostrano essere asintoticamente ottimale.
  • Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks: Una GNN basata su particelle prevede il moto degli oggetti nelle pose chiave delle primitive comportamentali; cercare i parametri delle primitive rispetto a 3-4 keyframe di una dimostrazione permette a un braccio di riporre oggetti in scaffali ingombri.
  • Learning Vision-Based Bipedal Locomotion for Challenging Terrain: Una policy di RL addestrata in simulazione più un predittore da profondità a mappa delle altezze permettono al bipede Cassie di superare blocchi, scale e un gradino di 0,5 m senza odometria globale né fine-tuning nel mondo reale.
  • Swashplateless-elevon Actuation for a Dual-rotor Tail-sitter VTOL UAV: Il beccheggio passa dagli elevoni a mozzi rotore passivi senza piatto oscillante azionati dalla modulazione della velocità del motore: un tail-sitter birotore da 2,25 kg decolla, insegue traiettorie e respinge il vento meglio, senza attuatori aggiuntivi
  • Constrained Bimanual Planning with Analytic Inverse Kinematics: Parametrizzare i giunti di un braccio più l'angolo di ridondanza dell'altro braccio tramite IK analitica trasforma il vincolo di presa a due mani in uno spazio in cui RRT, PRM, ottimizzazione di traiettoria e GCS possono pianificare.
  • Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping: Costruisce un LERF della scena, maschera l'oggetto indicato con feature DINO, interroga il nome della parte solo all'interno di quella maschera e riordina le prese di GraspNet così che il robot afferri la parte indicata.
  • Robot Parkour Learning: Un RL a due fasi (prima ostacoli penetrabili, poi collisioni reali) addestra cinque abilità di parkour; DAgger le distilla in un'unica policy su immagini di profondità che gira a bordo dei robot a basso costo Unitree A1 e Go1.
  • LONER: LiDAR Only Neural Representations for Real-Time SLAM: SLAM in tempo reale solo da LiDAR con una mappa implicita neurale: tracking con ICP, ottimizzazione congiunta di pose e mappa sui keyframe e una loss a margine dinamico basata sulla divergenza JS per un apprendimento online più rapido e nitido.
  • RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control: Sottopone a co-fine-tuning modelli visione-linguaggio su dati robotici esprimendo le azioni come token di testo, abilitando un ragionamento semantico emergente e il trasferimento di conoscenza dal web al controllo robotico.
  • Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation: F3RM distilla feature 2D di CLIP o DINO in un campo di feature NeRF 3D, così un robot può inferire prese e posizionamenti a 6-DOF da due dimostrazioni per compito e raccogliere oggetti indicati con testo libero.
  • VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models: Un LLM scrive codice Python che riempie mappe voxel 3D di affordance e di evitamento a partire da rilevamenti visione-linguaggio; un pianificatore le trasforma in traiettorie a 6 DoF ad anello chiuso senza addestramento aggiuntivo.
  • Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners: KnowNo formula la pianificazione con LLM come una domanda a scelta multipla e applica la predizione conforme, così il robot chiede aiuto solo quando sopravvive più di un'opzione, a un livello di successo fissato dall'utente.
  • RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools: RoboCook modella l'interazione tra impasto e utensile con GNN addestrate su 20 minuti di dati reali per utensile, sceglie gli utensili con un classificatore PointNet++ e prepara dumpling usando 15 utensili intercambiabili.
  • Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation: Una LSTM con uscita di rotazione 6D, una calibrazione in due fasi e il Monte Carlo dropout trasformano un solo smartwatch in un sistema di tracciamento del braccio e in un'interfaccia robotica comandata a voce, con un errore inferiore di ~40 % rispetto ai lavori precedenti.
  • Autonomous Drifting with 3 Minutes of Data via Learned Tire Models: Modelli di pneumatico Neural ODE ed ExpTanh che impongono la curva di forza a forma di S e il limite di attrito sostituiscono un modello a spazzola di Fiala in un NMPC per il drift, riducendo di oltre 4× l'errore di inseguimento laterale su un'auto reale.
  • LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning: LIBERO è un benchmark simulato di 130 compiti di manipolazione condizionati dal linguaggio con dimostrazioni umane, costruito per studiare come i robot trasferiscono conoscenza dichiarativa e procedurale tra i compiti.
  • H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation: Un SDF grossolano memorizzato in un octree più un residuo con codifica hash permettono alla mappatura RGB-D in stile NeRF di girare a bordo di schede Jetson Orin, su un dispositivo portatile e su un quadricottero.
  • MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback: Due bracci fanno toccare più volte tra loro gli oggetti afferrati; filtri a particelle valutati su contatto, forza e coerenza tra le azioni recuperano entrambe le pose in mano con un errore di circa 0,5 cm.
  • Time Optimal Ergodic Search: Minimizza il tempo di ricerca soggetto a un limite superiore γ sulla metrica ergodica: un solo parametro stabilisce quanto deve essere completa la copertura, e l'ottimizzatore sceglie la durata della traiettoria.
  • Non-Euclidean Motion Planning with Graphs of Geodesically-Convex Sets: Tratta gli spazi dei giunti che si richiudono su se stessi (basi mobili, giunti continui) come varietà piatte, così il pianificatore di cammini minimi GCS fornisce ancora percorsi globalmente ottimali e privi di collisioni.
  • A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments: LSTM inizializzate all'interno di un modello ibrido basato sulla fisica, addestrate con una loss di posizione integrata, predicono in tempo reale traiettorie di 5 s di un veicolo fuoristrada per il controllo MPPI su GPU.
  • Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware: I compiti di manipolazione fine, come infilare fascette o inserire una batteria, sono notoriamente difficili per i robot perché richiedono precisione, un'attenta coordinazione delle forze di contatto e un feedback visivo a ciclo chiuso. Eseguire questi compiti richiede di solito robot di fascia…
  • Diffusion Policy: Visuomotor Policy Learning via Action Diffusion: Questo articolo presenta Diffusion Policy, un nuovo modo di generare il comportamento dei robot rappresentando la policy visuomotoria di un robot come un processo di diffusione condizionato con denoising. Valutiamo Diffusion Policy su 12 compiti diversi tratti da 4 diversi benchmark di manipolazione…
  • Open-Vocabulary Affordance Detection in 3D Point Clouds: Associa le feature per punto di PointNet++ agli embedding testuali congelati di CLIP, così un robot può interrogare una nuvola di punti con qualsiasi parola di affordance, anche quelle assenti dall'addestramento.
  • Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations: FISH aggiunge un residuo appreso a una policy di base fissa ad anello aperto o a vicino più prossimo, ricompensato dalla corrispondenza tramite trasporto ottimo con 1–3 dimostrazioni, e si adatta a posizioni degli oggetti mai viste in ≤20 minuti.
  • Language-Driven Representation Learning for Robotics: Voltron unisce la ricostruzione mascherata condizionata dal linguaggio alla generazione di didascalie su Something-Something-v2 e batte MVP e R3M a parità di dati su una nuova suite di valutazione robotica di cinque problemi.
  • MimicPlay: Long-Horizon Imitation Learning by Watching Human Play: MimicPlay apprende un pianificatore latente da 10 minuti di video di gioco con le mani umane e un controllore transformer guidato dal piano da poche dimostrazioni teleoperate, aumentando il successo a lungo orizzonte su un braccio Franka.
  • GenAug: Retargeting behaviors to unseen situations via Generative Augmentation: GenAug usa la diffusione da testo a immagine guidata dalla profondità per ridipingere oggetti, distrattori e sfondi in poche dimostrazioni reali, così una policy di pick-and-place CLIPort funziona in scene mai viste.
  • Learning Universal Policies via Text-Guided Video Generation: Primo articolo a usare modelli di diffusione video come policy robotiche: genera i video futuri desiderati a partire da obiettivi testuali, poi estrae le azioni tramite la dinamica inversa.
  • RAMP: Reaction-Aware Motion Planning of Multi-Legged Robots for Locomotion in Microgravity: Un pianificatore del movimento per robot con zampe dotate di pinze in microgravità che modella le traiettorie delle zampe in oscillazione e muove il corpo per assorbire la quantità di moto dell'oscillazione, riducendo le reazioni che staccano le pinze.
  • MRI-powered Magnetic Miniature Capsule Robot with HIFU-controlled On-demand Drug Delivery: Uno scanner RM sia acquisisce immagini sia trascina una capsula magnetica da 5 mm; una bolla d'aria tappa il foro del farmaco finché ultrasuoni focalizzati guidati dalla RM non la rimuovono, e la pressione stabilisce la velocità di rilascio.
  • PaLM-E: An Embodied Multimodal Language Model: I grandi modelli linguistici eccellono in un'ampia gamma di compiti complessi. Tuttavia, rendere possibile l'inferenza generale nel mondo reale, ad esempio per problemi di robotica, pone la sfida del grounding. Proponiamo modelli linguistici incarnati che incorporano direttamente nei modelli…
  • VIMA: General Robot Manipulation with Multimodal Prompts: Formula i compiti di manipolazione come prompt che alternano testo e immagini, aggiunge il benchmark VIMA-Bench e propone un agente con token di oggetti e cross-attention che generalizza meglio delle architetture in stile Gato.
  • Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning: LIRF addestra una seconda policy che agisce su un risultato (tira una porta, spinge una torre, ruota una valvola) per distinguere il successo dal fallimento, e usa il suo verdetto come ricompensa per la policy del compito.
  • RT-1: Robotics Transformer for Real-World Control at Scale: Trasferendo conoscenza da dataset ampi, diversificati e indipendenti dal compito, i moderni modelli di machine learning possono risolvere specifici compiti a valle, in modalità zero-shot o con piccoli dataset specifici per il compito, con un alto livello di prestazioni. Sebbene questa capacità sia…
  • LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models: GPT-3 con esempi recuperati e ripianificazione ancorata agli oggetti scrive piani di alto livello per ALFRED a partire da 100 esempi etichettati, avvicinandosi a HLSM addestrato su 21.023.
  • Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning: Esaminiamo il problema di determinare la sufficienza delle dimostrazioni: come può un robot autovalutare se ha ricevuto abbastanza dimostrazioni da un esperto per garantire un livello di prestazioni desiderato? Per affrontare questo problema proponiamo un nuovo approccio di autovalutazione basato…
  • Legged Locomotion in Challenging Terrains using Egocentric Vision: RL su campioni economici del terreno, seguito da distillazione verso la profondità, dà a un quadrupede A1 una policy da profondità ad angoli dei giunti che sale scale e marciapiedi e attraversa varchi e pietre di guado.
  • Distributed Data-Driven Predictive Control for Multi-Agent Collaborative Legged Locomotion: Un modello a matrici di Hankel di quadrupedi accoppiati da giunti sferici, costruito da dati di simulazione e suddiviso in QP per robot, pianifica forze e traiettorie del COM per 5 A1 simulati e 3 reali.
  • PCBot: a Minimalist Robot Designed for Swarm Applications: PCBot si muove su una tavola vibrante orbitale commutando un magnete con una bobina fatta di piste del PCB: cinque parti, 18 g, meno di 20 s per il montaggio e circa 66 m di percorso per carica da 70 mAh.
  • NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields: Un NeRF addestrato su un video da smartphone di 5-6 minuti fornisce la resa visiva e la mesh di collisione per una simulazione MuJoCo; le policy per umanoide solo RGB addestrate lì si trasferiscono zero-shot su un robot reale.
  • DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation: Un dataset di 1,32M prese della ShadowHand su 5355 oggetti, costruito con un ottimizzatore di chiusura di forza più veloce e verificato in Isaac Gym; i modelli di presa addestrati su di esso superano quelli addestrati su DDGdata.
  • FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment: Un robot pittore che pianifica le pennellate in un simulatore differenziabile costruito dalle proprie pennellate reali, poi ripianifica in base alle immagini della telecamera per raggiungere obiettivi espressi come testo, immagine o schizzo.
  • Robust, High-Rate Trajectory Tracking on Insect-Scale Soft-Actuated Aerial Robots with Deep-Learned Tube MPC: Una rete neurale a due strati addestrata a imitare un MPC robusto a tubo, in cascata con un controllore d'assetto adattivo, fa volare un MAV da 0,7 g ad attuazione soft a 2 kHz con un RMSE di posizione inferiore a 1,8 cm.
  • Code as Policies: Language Model Programs for Embodied Control: È stato dimostrato che i modelli linguistici di grandi dimensioni (LLM) addestrati al completamento del codice sono in grado di sintetizzare semplici programmi Python a partire dalle docstring. Scopriamo che questi LLM che scrivono codice possono essere riadattati per scrivere codice di policy…
  • Robust Locomotion on Legged Robots through Planning on Motion Primitive Graphs: Modellare ogni controllore come una primitiva di moto con una regione di attrazione sicura permette a una ricerca in stile RRT di trovare online, in meno di 50 ms, sequenze di recupero su un quadrupede A1.
  • PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations: Un encoder di profondità e propriocezione a 128-d addestrato con l'informazione predittiva, con una piccola testa di policy addestrata da ARS: 100 % di successo su pietre di guado reali contro il 40 % di ARS.
  • DayDreamer: World Models for Physical Robot Learning: L'RL basato su modello del mondo apprende direttamente su robot fisici addestrando le policy nell'immaginazione: nessun simulatore necessario, stessi iperparametri su 4 robot diversi.
  • Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models: Smussare la dinamica di contatto, campionando come fa l'RL o analiticamente con una barriera logaritmica, fornisce gradienti utili; con un modello quasi-dinamico convesso, RRT pianifica poi compiti di destrezza in circa un minuto.
  • Behavior Transformers: Cloning k modes with one stone: Un Transformer che gestisce dati di dimostrazione multimodali tramite la discretizzazione delle azioni e la correzione degli offset, clonando comportamenti diversi da dataset non etichettati.
  • Power-based Safety Layer for Aerial Vehicles in Physical Interaction using Lyapunov Exponents: Seguire quanto rapidamente divergono gli errori di controllo permette a un drone a rotori basculanti di concedere potenza mentre gli errori si riducono e di dissiparla quando crescono, così si ferma in sicurezza quando un carrello che stava spingendo viene tirato via.
  • AK: Attentive Kernel for Information Gathering: Un kernel GP non stazionario che combina lengthscale fisse e maschera le correlazioni attraverso i cambiamenti bruschi, così l'incertezza della mappa segue l'errore reale e il robot campiona dove serve.
  • FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects: Una rete prevede come si muoverebbe ogni punto di un oggetto articolato; il robot afferra il punto con il moto maggiore e lo segue, raggiungendo il 64 % di successo nel mondo reale senza dati di addestramento reali.
  • TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models: Un dataset fuoristrada di 5 ore e 630 traiettorie da un ATV Yamaha Viking modificato con sette modalità, più benchmark di modelli dinamici latenti; gli ingressi esterocettivi aiutano soprattutto su terreno accidentato.
  • ARChemist: Autonomous Robotic Chemistry System Architecture: ARChemist collega un manipolatore mobile KUKA KMR, un braccio Franka Panda e strumenti di laboratorio standard tramite ROS e ricette YAML; lo screening di solubilità è riuscito in 9 esecuzioni su 10, la cristallizzazione nell'80 % di 5.
  • Interactive Object Segmentation in 3D Point Clouds: Gli utenti cliccano punti positivi e negativi direttamente in una nuvola di punti 3D; una rete a voxel sparsi addestrata solo su ScanNet raffina la maschera dell'oggetto e si trasferisce ad altri dataset di ambienti interni ed esterni.
  • Parameterized Differential Dynamic Programming: PDDP aggiunge a DDP parametri tempo-invarianti, così controlli e parametri ricevono aggiornamenti congiunti del secondo ordine; è usata per l'identificazione online del modello in MPC e per fissare gli istanti dei cambi di modo di volo.
  • Do As I Can, Not As I Say: Grounding Language in Robotic Affordances: SayCan combina gli LLM con affordance robotiche apprese (funzioni di valore), così l'LLM fornisce conoscenza di alto livello sul compito ancorata alla fattibilità fisica, consentendo di seguire istruzioni in linguaggio naturale a lungo orizzonte su un vero manipolatore mobile.
  • Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions: Una ricompensa di stile appresa in modo avversariale da 4,5 s di motion capture di un pastore tedesco sostituisce una ricompensa progettata a mano e si trasferisce a un quadrupede A1 reale con un costo di trasporto più basso.
  • R3M: A Universal Visual Representation for Robot Manipulation: R3M preaddestra un encoder ResNet congelato su video e didascalie di Ego4D; il behavior cloning su di esso batte le feature di CLIP, MoCo e ImageNet in 12 compiti simulati e su un Franka reale con 20 dimostrazioni.
  • Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions: Lindsey, un robot guida museale, adatta online i suoi tour con UCBVI usando come ricompensa il coinvolgimento dei visitatori stimato dalla telecamera, aumentando del 22,8 % i reperti visitati e di circa il 30 % i tour completati.
  • A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation: Un simulatore 2D in Pymunk/Gym per robot a particelle a forma di disco, con compiti di navigazione e di spinta di oggetti; DQN, A2C e PPO muovono lo sciame ma restano molto al di sotto di una policy a onda progettata a mano.
  • Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method: OPA pre-addestra una policy a rete di grafi su traiettorie sintetiche di raggiungimento ed evitamento, poi si adatta a una sola correzione umana aggiornando solo piccole feature di preferenza per oggetto, in meno di 0,5 s.
  • Instance Segmentation for Autonomous Log Grasping in Forestry Operations: Un nuovo dataset di tronchi con maschere mostra che un Transformer a livello di pixel segmenta tronchi ammassati e storti molto meglio delle reti a proposte di riquadri, un primo passo di percezione verso forwarder autonomi.
  • ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints: ViKiNG abbina un controllore locale basato su immagini a una ricerca di tipo A* guidata da immagini satellitari o mappe stradali, raggiungendo obiettivi a oltre un chilometro dopo un addestramento su percorsi sotto gli 80 m.
  • Do Differentiable Simulators Give Better Policy Gradients?: I gradienti esatti del simulatore possono essere distorti o ad alta varianza con contatti, rigidezza e caos; uno stimatore di ordine α li combina con gradienti campionati sotto un vincolo di accuratezza.
  • You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration: Uno spazio canonico delle forme addestrato solo in simulazione trasferisce un video di dimostrazione su oggetti nuovi; il cloning in anello chiuso con tracciamento raggiunge il 100 % nel mettere in piedi le batterie e l'82,9 % nell'inserimento di ingranaggi a 0,5 mm.
  • A Generalist Agent: Gato trasforma testo, immagini, propriocezione e azioni in un'unica sequenza di token e addestra un solo Transformer da 1,2 miliardi di parametri su 604 compiti, tra cui l'impilamento di blocchi con un braccio Sawyer reale.
  • Omni-Roach: A legged robot capable of traversing multiple types of large obstacles and self-righting: Un piccolo robot in stile RHex combina guscio arrotondato, ali e coda attiva per superare pilastri, gradini, varchi e aste simili a erba e per raddrizzarsi da solo, usando strategie apprese dagli scarafaggi.
  • A System for General In-Hand Object Re-Orientation: RL model-free con distillazione teacher-student, inizializzazione da pose sollevate e un curriculum di gravità riorienta oltre 2000 oggetti in una Shadow Hand simulata, con il palmo in su o in giù, senza input sulla forma.
  • Probabilistic Inference in Planning for Partially Observable Long Horizon Problems: SHY-COBRA concretizza prese, pose e traiettorie di un piano simbolico tramite propagazione delle credenze su un grafo di vincoli inizializzato con credenze rumorose, poi esegue, osserva e ripianifica.
  • Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks: Un agente di RL sceglie tra primitive programmate a mano di raggiungimento, presa, spinta e rilascio o un'azione motoria grezza, e ne imposta i parametri, il che riduce l'onere dell'esplorazione nella manipolazione a lungo orizzonte.
  • Real-time Optimal Landing Control of the MIT Mini Cheetah: Un controllore di atterraggio risolve di nuovo un'ottimizzazione della traiettoria a contatto implicito mentre il quadrupede cade, con un avvio a caldo (warm start) fornito da una rete neurale, e poi la insegue con il controllo del corpo intero al contatto con il suolo.
  • Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation: Riconoscere gli oggetti che il robot ha già manipolato e riusarne i modelli TSDF parziali: il successo sale dall'85 % al 98 % e servono meno passaggi tra i bracci e meno nuove scansioni.
  • CT-ICP: Real-time Elastic LiDAR Odometry with Loop Closure: ICP scan-to-map con una posa iniziale e una finale per scansione e salti consentiti tra scansioni, più chiusura del loop con immagini di elevazione; 0,59 % di RTE nella classifica KITTI con 60 ms per scansione.
  • AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning: Un agente RL sposta e ruota una fotocamera in una scena di interni sconosciuta finché un modello estetico appreso non valuta bene la vista, poi scatta la foto; addestrato in Habitat ed eseguito su un UGV Jackal.
  • SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving: Mappatura stradale da immagini aeree, senza robot: un ragionamento su grafi negli spazi di interazione spaziali e proiettati, a tre scale, collega i tratti di strada occlusi e ha aumentato la connettività APLS di circa 1 punto su due benchmark.
  • OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication: Dataset aperto e simulato di percezione V2V (8 città di CARLA più una Culver City digitale), un benchmark di 4 rilevatori LiDAR × 4 modalità di fusione e una fusione delle feature con attenzione che mantiene l'AP con una compressione di 4096×.
  • SORNet: Spatial Object-Centric Representations for Sequential Manipulation: SORNet produce un embedding per ogni oggetto in un'immagine RGB a partire da una vista canonica di quell'oggetto; piccoli MLP di lettura trasformano gli embedding in precondizioni delle skill e direzioni 3D per oggetti mai visti.
  • Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning: Isaac Gym esegue simulazione PhysX, osservazioni, ricompense e addestramento PPO su una sola GPU tramite un'API a tensori PyTorch; il riorientamento del cubo con la Shadow Hand scende da 30 h su un cluster di CPU a meno di 1 h.
  • What Matters in Learning from Offline Human Demonstrations for Robot Manipulation: Sei algoritmi di apprendimento offline testati su 5 compiti di manipolazione simulati e 3 reali: BC-RNN, dipendente dalla storia, è quello che apprende meglio dalle dimostrazioni umane, mentre l'RL batch è in difficoltà sui dati umani.
  • Learning to Share Autonomy across Repeated Interaction: Autonomia condivisa senza un elenco di obiettivi predefinito: il robot impara i compiti dalla teleoperazione ripetuta, li riconosce dall'input del joystick, imita le esecuzioni passate e restituisce il controllo quando non è sicuro.
  • Optimization-Based Quadrupedal Hybrid Wheeled-Legged Locomotion: Un'ottimizzazione di traiettoria offline che usa la dinamica a corpo rigido singolo più un modello a monociclo per ogni ruota sterzante pianifica andature su ruote, camminate e miste per il robot CENTAURO.
  • Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA: Binarizzare solo l'encoder di un autoencoder convoluzionale permette a un modello end-to-end per piegare tessuti destinato a un umanoide di girare su una FPGA Zynq a 41,1 FPS e 3,1 W, con poca perdita di accuratezza.
  • XIRL: Cross-embodiment Inverse Reinforcement Learning: Embedding a coerenza ciclica temporale appresi da video di dimostratori con embodiment diversi forniscono una ricompensa basata sulla distanza dall'obiettivo che addestra policy RL su embodiment mai visti.
  • StRETcH: A Soft to Resistive Elastic Tactile Hand: Una membrana di EcoFlex tesa da una pinza parallela e ripresa da una telecamera di profondità fornisce un end effector tattile morbido a rigidezza regolabile per percepire e modellare oggetti deformabili.
  • FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding: Un robot a due bracci impara, in modo auto-supervisionato, dove afferrare un tessuto stropicciato per un movimento fisso di presa, tensione e sbattimento, superando il pick & place quasi-statico per copertura e numero di passi.
  • Pylot: A Modular Platform for Exploring Latency-Accuracy Tradeoffs in Autonomous Vehicles: Pipeline AV modulare e deterministica su un runtime dataflow: si sostituiscono rilevatori, tracker, predittori o pianificatori e si vede come il loro tempo di esecuzione influisce sulla guida end-to-end in CARLA o su un'auto reale.
  • Robowflex: Robot Motion Planning with MoveIt Made Easy: Robowflex carica robot, scene e pianificatori di MoveIt direttamente all'interno di un programma C++ invece che tramite messaggi ROS, rendendo gestibili tramite script lo sviluppo di pianificatori, i benchmark e la pianificazione di compiti e movimenti.
  • Learning When to Quit: Meta-Reasoning for Motion Planning: Apprende da esecuzioni passate del pianificatore quando fermare un pianificatore del movimento anytime (RRT, PRM, Lazy PRM*) in modo da massimizzare il compromesso tra qualità del percorso e tempo di pianificazione.
  • kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation: Punti chiave 3D orientati fanno da stato e da azione di un controllore ad anello chiuso, così una sola policy gestisce inserimento di perno in foro con 0,2 mm, LEGO, USB e pulizia nonostante le variazioni di forma.
  • Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration: Le persone svolgono compiti di cucina in un mondo VR con simulazione fisica; monitor online suddividono le loro azioni in eventi di raggiungimento, presa, trasporto e deposito memorizzati in KnowRob perché i robot possano interrogarli.
  • Reactive Human-To-Robot Handovers of Arbitrary Objects: Segmentare la mano e afferrare ciò che resta: un sistema basato sulla visione permette a un Franka Panda di prendere 26 diversi oggetti domestici dalle persone e di ripianificare quando l'oggetto si muove.
  • Multi-Resolution POMDP Planning for Multi-Object Search in 3D: Ricerca 3D di più oggetti come POMDP, risolta online pianificando in parallelo a più risoluzioni dell'octree; supera le baseline piatte in grandi spazi simulati e gira su un Kinova MOVO.
  • SuMa++: Efficient LiDAR-based Semantic SLAM: SuMa++ aggiunge a uno SLAM LiDAR basato su surfel etichette semantiche per punto di RangeNet++ e le usa per rimuovere dalla mappa gli oggetti in movimento e per pesare i residui dell'ICP.
  • Disentangled Relational Representations for Explaining and Learning from Demonstration: Un β-VAE con loss ausiliarie sulle etichette apprende embedding di relazioni spaziali che trasformano dimostrazioni su tavolo in piani simbolici e pose dell'end effector del PR2.
  • An Online Learning Approach to Model Predictive Control: Vedere l'MPC come apprendimento online dà DMD-MPC, una famiglia che contiene MPPI e CEM, espone il loro passo come parametro di regolazione e gira su un'auto AutoRally in scala 1:5.
  • Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects: Una rete a punti chiave addestrata solo su un mix di immagini sintetiche con domain randomization e fotorealistiche stima la posa a 6-DoF degli oggetti abbastanza bene per la presa con un robot reale.
  • On Evaluation of Embodied Navigation Agents: Un rapporto di raccomandazioni di un gruppo di lavoro sulla ricerca nella navigazione, non un nuovo metodo: un’azione DONE, la distanza geodetica, la metrica SPL, simulatori continui in unità SI e scenari standard su quattro dataset.
  • Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation: Un robot scansiona gli oggetti con una telecamera RGBD al polso, autosupervisiona descrittori per pixel da ricostruzioni 3D, poi afferra punti scelti dall'utente attraverso pose, deformazioni e istanze.
  • Deep Drone Racing: Learning Agile Flight in Dynamic Environments: Una CNN mappa un'immagine della telecamera di bordo in una direzione obiettivo e una velocità; un pianificatore a minimo jerk e un controller classico fanno volare il quadrirotore, che così percorre tracciati con porte in movimento senza mappa né posa globale.
  • Joint 3D Proposal Generation and Object Detection from View Aggregation: Un rilevatore 3D a due stadi che fonde feature della vista a volo d'uccello del LIDAR e dell'immagine sia nella rete di proposta sia nel rilevatore, e regredisce un vettore di direzione esplicito per eliminare gli errori di orientamento di ±π.
  • Grasp Pose Detection in Point Clouds: Campionare migliaia di pose della pinza a 6-DOF su qualsiasi superficie visibile, valutare ciascuna con una piccola CNN su proiezioni multivista della nuvola locale, sceglierne una con euristiche: 93 % di successo in disordine fitto.

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.