CALVIN
Benchmark di manipolazione condizionata dal linguaggio per compiti a lungo orizzonte
Licenza
MIT
Panoramica
Composing Actions from Language and Vision: un benchmark simulato open source per addestrare agenti robotici su compiti di manipolazione a lungo orizzonte condizionati dal linguaggio. Vincitore del Best Paper Award IEEE RA-L 2022. Offre configurazioni dei sensori flessibili e specifiche dei compiti in linguaggio naturale per la manipolazione robotica in più passaggi.
CALVIN è un ambiente di benchmark simulato dedicato alla valutazione di policy di manipolazione a lungo orizzonte e condizionate dal linguaggio in contesti di controllo continuo. Premiato con il Best Paper Award delle IEEE Robotics and Automation Letters 2022, CALVIN affronta il difficile problema di permettere ai robot di eseguire lunghe sequenze di compiti specificate tramite istruzioni in linguaggio naturale. Il benchmark offre configurazioni dei sensori flessibili, che permettono ai ricercatori di sperimentare diverse modalità di percezione, mentre il sistema di specifica dei compiti in linguaggio naturale consente di studiare la comprensione del linguaggio ancorata al contesto robotico. A differenza dei benchmark centrati su compiti a passo singolo o a breve orizzonte, CALVIN punta specificamente alle capacità di ragionamento compositivo e di pianificazione estesa necessarie perché i robot completino procedure in più passaggi più vicine agli scenari reali di manipolazione.
Perché è importante
CALVIN è il benchmark standard per valutare la manipolazione a lungo orizzonte condizionata dal linguaggio. I suoi impegnativi compiti in più passaggi rivelano se le policy robotiche sanno davvero seguire istruzioni linguistiche complesse su orizzonti temporali lunghi, e non solo semplici comandi in un passaggio.
Il problema che risolve
La maggior parte dei benchmark di manipolazione condizionata dal linguaggio verifica solo compiti a passo singolo. CALVIN valuta se gli agenti sanno eseguire catene di istruzioni linguistiche (per esempio "apri il cassetto, prendi il blocco, mettilo sullo scaffale"), una capacità essenziale per l'utilità nel mondo reale.
Punti chiave
- Benchmark per la manipolazione robotica a lungo orizzonte condizionata dal linguaggio
- 34 compiti di manipolazione concatenati in sequenze complesse in più passaggi
- Vincitore del Best Paper Award IEEE RA-L 2022
- Basato su PyBullet con protocolli di valutazione standardizzati
- Verifica se le policy sanno seguire istruzioni linguistiche su orizzonti di oltre 1000 passi
A chi si rivolge
- Ricercatori che costruiscono policy robotiche condizionate dal linguaggio
- Team che valutano modelli Vision-Language-Action (VLA)
- Sviluppatori che fanno benchmark di agenti di manipolazione multi-compito
- Studenti che studiano il grounding del linguaggio in robotica
Limiti
- Solo ambiente simulato: nessuna componente con robot reale
- L'attenzione alla manipolazione da tavolo limita la varietà dei compiti
- Le istruzioni linguistiche seguono modelli predefiniti anziché essere in linguaggio naturale libero
- Requisiti di calcolo elevati per addestrare modelli competitivi