RoboCasa
Simulazione su larga scala per addestrare robot domestici generalisti
Licenza
MIT
Panoramica
Framework di simulazione su larga scala per addestrare robot generalisti in ambienti quotidiani. Offre oltre 100 scene di cucina realistiche, oltre 2500 oggetti 3D e compiti domestici diversi per la ricerca sull'IA incarnata.
RoboCasa è un framework di simulazione su larga scala progettato specificamente per addestrare robot generalisti in ambienti domestici quotidiani realistici, con particolare attenzione ai compiti domestici in cucina. Il framework fornisce oltre 100 scene di cucina dettagliate con disposizioni, elettrodomestici e arredi diversi, popolate da una libreria di oltre 2500 oggetti 3D ad alta fedeltà, tra cui pentole, utensili, alimenti ed elettrodomestici. Le definizioni dei compiti coprono attività domestiche comuni come cucinare, pulire, riordinare e preparare il cibo, catturando la complessità e la diversità degli ambienti domestici reali. L'ampia varietà di scene e oggetti consente di addestrare policy di manipolazione generaliste che devono gestire oggetti, ambienti e specifiche dei compiti diversi, invece di specialisti di un singolo compito.
Perché è importante
RoboCasa è il primo framework di simulazione su larga scala progettato specificamente per i compiti dei robot domestici. Con oltre 100 scene di cucina realistiche e oltre 2500 oggetti, fornisce la diversità ambientale necessaria per addestrare robot che funzionino nelle case reali, non solo nei laboratori.
Il problema che risolve
La maggior parte dei benchmark di simulazione usa semplici configurazioni da tavolo che non somigliano affatto alle cucine reali. RoboCasa fornisce la diversità di scene e il realismo necessari per addestrare policy di manipolazione domestica che generalizzino agli ambienti domestici reali.
Punti chiave
- Oltre 100 disposizioni di scene di cucina fotorealistiche con posizionamenti realistici degli oggetti
- Oltre 2500 asset di oggetti 3D da fonti generate con IA e scansionate
- Compiti domestici diversi, tra cui cucinare, pulire e riordinare
- Costruito su robosuite e MuJoCo per una simulazione veloce e stabile
- Supporta la generazione di dati su larga scala per l'apprendimento per imitazione
A chi si rivolge
- Ricercatori che costruiscono policy per robot domestici
- Team che addestrano modelli di manipolazione generalisti
- Aziende che sviluppano robot assistenti per la casa
- Sviluppatori che creano sistemi di automazione per la cucina
Limiti
- Incentrato sugli ambienti di cucina: altre stanze non sono ancora supportate
- La fisica dell'interazione con gli oggetti è semplificata rispetto al comportamento reale
- Richiede notevoli risorse di calcolo per la generazione di dati su larga scala
- La pipeline di generazione delle scene ha requisiti hardware specifici