CALVIN
針對長時程任務、以語言為條件的操作評測基準
授權條款
MIT
概述
Composing Actions from Language and Vision:一個開源的模擬評測基準,用於訓練機器人代理執行長時程、以語言為條件的操作任務。榮獲 2022 年 IEEE RA-L 最佳論文獎。具備彈性的感測器配置與自然語言任務規格,用於多步驟機器人操作。
CALVIN 是一個模擬評測環境,專注於評估連續控制情境中長時程、以語言為條件的操作策略。CALVIN 榮獲 IEEE Robotics and Automation Letters 2022 年最佳論文獎,處理的是讓機器人執行由自然語言指令指定之延伸任務序列這個具挑戰性的問題。這個評測基準具備彈性的感測器配置,讓研究人員可以嘗試不同的感知模態,而自然語言任務規格系統則讓人能研究機器人情境中的語言落地理解。與專注於單步驟或短時程任務的評測基準不同,CALVIN 特別針對組合推理與延伸規劃能力,這些能力是機器人完成更接近真實世界操作情境之多步驟程序所必需的。
為何重要
CALVIN 是評估長時程、以語言為條件之操作的標準評測基準。它具挑戰性的多步驟任務,能揭示機器人策略是否真的能在長時間範圍內遵循複雜的語言指令,而不只是簡單的單步驟命令。
解決的問題
大多數以語言為條件的操作評測基準只測試單步驟任務。CALVIN 評估代理能否執行一連串的語言指令(例如「打開抽屜、拿起積木、把它放到架子上」),這對真實世界的實用性至關重要。
重點
- 針對長時程、以語言為條件之機器人操作的評測基準
- 34 項操作任務串接成複雜的多步驟序列
- 榮獲 2022 年 IEEE RA-L 最佳論文獎
- 建構於 PyBullet 之上,具備標準化的評估協定
- 測試策略能否在 1000 步以上的時程中遵循語言指令
適用對象
- 建構以語言為條件之機器人策略的研究人員
- 評估視覺語言動作(VLA)模型的團隊
- 評測多任務操作代理的開發者
- 研究機器人語言落地的學生
限制
- 僅有模擬環境,沒有真實機器人的部分
- 以桌面操作為主,限制了任務的多樣性
- 語言指令是套用範本產生的,而非自由形式的自然語言
- 訓練具競爭力的模型需要大量運算資源