Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

作者: Andrei Haidu, Michael Beetz · ICRA 2021

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

人在物理模擬的 VR 世界中完成廚房任務；線上監測器將其動作切分為伸手、抓取、搬運與放下事件，存入 KnowRob 供機器人查詢。

為何重要

示範資料產出時就已依機器人共用的本體論完成切分與標註，包括虛擬身體部位，因此不需人工標記。情節可依動作類型、物體類型與部件關係重播與查詢，例如所有作用在屬於冰箱門之把手上的抓取。

問題

學習操作的機器人往往需要比合理投入所能提供的更多經驗，因此每次示範都應攜帶更多結構化資訊。作者先前的 AMEvA 系統只追蹤頭部與雙手，讓使用者能到達現實中不可能到達的位置，無法使用手肘或腳等其他身體部位，而且動作表示較為粗略。

提出的方法

使用者在以 NVIDIA PhysX 模擬的 Unreal Engine 4 環境中行動，並具備全身與視線追蹤；雙手由 3D PID 控制器驅動，因此重物會往回拉或滑脫，抓取則依預先定義的抓取方式由物理產生。次符號記錄器將逐幀的世界狀態與視線存入 MongoDB，而配備手部接觸感測器陣列與文法的線上監測器，則把抓取、接觸、支撐關係（supported-by）與取放子動作作為 OWL 事件記錄到 KnowRob 中。

關鍵見解

• 以 PID 控制器而非直接對應來驅動虛擬手，讓物體重量產生影響，進而促使人採用真實世界的策略，例如用雙手抬起。
• 手指、拇指與手掌上的接觸感測器陣列能區分真正的抓取與單純接觸：抓取需要來自至少兩組不同陣列的接觸。
• 沒有明確起訖特徵的動作階段（伸手的開始、拿起的結束、放下的開始）可藉由感興趣區域，以及對快取之物體運動進行回溯來界定。
• 支撐關係（supported-by）被偵測為相對垂直速度接近零的接觸，因此放在托盤上搬運的物體仍算由托盤支撐。
• 事件監測器跟隨物理引擎的休眠狀態，並對靜止物體關閉，作者表示這讓系統能即時擴展到數千個物體。

主要結果

• 論文未回報定量的準確度或時間評估；其結果是定性的展示與查詢範例。
• 以單手側向抓取抬起盛滿食物的盤子，會因自身重量從手中扭脫，而雙手抓取則能順利抬起。
• 取放動作在線上被切分為伸手、固定、滑動或拿起、搬運與放下階段，如圖 5 (a)–(j) 所示。
• KnowRob 查詢可擷取並重播：對穀片盒的滑動動作、對屬於冰箱門部件之把手的抓取，以及由子動作組成的取放動作。
• 每個情節的 MongoDB 集合會在情節結束後建立 B 樹索引，搜尋時間為 O(log n)。

限制

• 全身追蹤是單向的：虛擬化身可以推動物體卻得不到回饋，因此使用者可能穿過牆壁或家具，使模擬失去穩定（作者自述）。
• 伸手的開始與拿起的結束沒有明顯特徵，只能以感興趣區域近似（作者自述）。
• 抓取偵測器不區分抓取情境，例如搬運物體與握住抽屜把手或不可移動家具之間的差別（作者自述）。
• 視線雖有記錄，但尚未用於改善動作偵測，大型公開資料集仍屬未來工作（作者自述）。
• 未回報機器人實驗，也未回報對事件偵測的定量評估。

對領域的影響

它入圍 IEEE ICRA 2021 人機互動（HRI）最佳論文獎決選，被引用 11 次。論文未說明是否釋出程式碼或資料；它將透過 openEASE 發布大型資料集列為未來工作。

摘要

本文提出一套系統，能從虛擬環境中蒐集並標註由人執行、機器人可理解的日常活動。人的動作透過具備全身追蹤與眼動追蹤功能的現成虛擬實境裝置，對應到模擬世界中。虛擬世界中的所有互動都經過物理模擬，因此動作及其效果與真實世界密切相關。在活動執行期間，一個次符號資料記錄器逐幀記錄環境與人的視線，使離線場景重現與重播成為可能。結合物理引擎，線上監測器（即符號資料記錄器）使用多種文法剖析並記錄模擬世界中的事件、動作及其效果。

連結

• arXiv 2011.13689: https://arxiv.org/abs/2011.13689
• DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
• PDF: https://arxiv.org/pdf/2011.13689v1