Reactive Human-To-Robot Handovers of Arbitrary Objects

作者: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

分割出手，抓取剩下的部分：一套以視覺為基礎的系統讓 Franka Panda 從人手中接過 26 種不同的家用物品，並在物體移動時重新規劃。

為何重要

物體不必屬於預先訓練之偵測器的類別，作者指出這是最接近的先前研究的主要瓶頸。閉迴路讓機器人能跟隨人在機器人開始移動後才轉動的物體，而這正是該先前研究所回報之多數失敗的原因。

問題

輔助型機器人必須從人手中接過多種物品，但多數交接研究只使用單一物體，而在調查的論文中只有一篇使用超過六個物體。從手中接過物體不同於抓取靜止的物體：物體可能移動、部分被手指遮住、限制了接近方向，而且機器人的動作必須讓人覺得安全。

提出的方法

系統在以 Azure Kinect Body Tracking SDK 追蹤的手周圍裁切點雲，以在自動產生之遮罩上訓練、以 ResNet-50 為骨幹的 Feature Pyramid Network 在 RGB 影像中分割手，並把剩下的點標記為物體。6-DOF GraspNet 提出抓取，這些抓取藉由其抓取評估器以 Metropolis-Hastings 取樣逐幀精修，與手碰撞的抓取會被移除，再由搭配 Riemannian Motion Policies 的 Robust Logical Dynamical Systems 任務模型選擇並執行接近姿態。

關鍵見解

分割手是一項定義明確的任務；先分割手，再把裁切後剩下的點標記為物體，就不必直接分割未曾見過的物體。
手部的訓練遮罩不需要人工標註者即可產生：從點雲中裁切出被追蹤的裸手，再投影到影像中。
以抓取評估器精修前一幀的抓取，可在不重新訓練 GraspNet 的情況下讓抓取隨時間保持一致；當快速的手部動作後留存的抓取太少時，就重新取樣抓取。
依與前一個最佳抓取及與初始姿態的距離為接近姿態評分，可在追蹤人的同時保持動作平順。
將每個抓取繞其 Z 軸旋轉 180°，可讓雙指夾爪的候選抓取數量加倍。

主要結果

手部分割模型在以相同方式蒐集的驗證集上達到 99.7% 的像素精度、99.5% 的頻率加權 IoU 與 68.0% 的平均 IoU。
以香蕉、玩具美乃滋瓶與玩具穀片盒進行的系統性測試，物體分別平放、傾斜 45° 與 90° 握持：整體每次交接 11.39 ± 4.29 s、成功率 90%；香蕉 100%、瓶子 90%、穀片盒 82%。
機器人開始移動後物體被旋轉：0–45° 時成功率 100%，耗時 11.81 ± 3.93 s；0–90° 時成功率 69%，耗時 15.41 ± 7.39 s。
6 位參與者交接 10 種物體的使用者研究：平均接近時間 10.7 ± 3.6 s、1.3 ± 0.3 次嘗試、成功率 81.8%；筆（50.0%）、馬克杯（54.5%）與湯匙（66.7%）最低。
內文（第 V-A、V-B 與 VI-B 節）表示每個物體最後都被接過，在系統性測試中都在三次以內的嘗試完成，而表 I 與表 II 卻列出數個物體低於 100% 的成功率。
問卷評分在每個面向都約為 4 或以上，參與者之間的變異很小。

限制

失敗來自深色表面的深度缺失、分割網路把物體標記為手，以及附近物體在裁切點雲中造成的雜訊（作者自述）。
逆向運動學的計算成本限制了機器人更新目標抓取的速度；參與者希望動作更快、更流暢（作者自述）。
由於疫情安全規範，使用者研究只有六位參與者，全部從實驗室招募（作者自述）。
人必須以讓機器人仍能抓取的方式握住物體。
系統性評估使用一位使用者與三種物體，交接反覆進行，直到機器人成功三次為止。

對領域的影響

它獲得 IEEE ICRA 2021 人機互動（HRI）最佳論文獎，被引用 99 次。論文連結了一個包含更多結果與影片的專案頁面；論文未說明是否釋出程式碼或資料集。

摘要

過去十年來，人與機器人之間的物體交接一直是機器人學中受到積極研究的領域；然而，很少有技術與系統處理過交接外觀、尺寸、形狀與剛性任意的多樣物體這項挑戰。本文提出一套以視覺為基礎的系統，能對未知物體進行反應式的人對機器人交接。我們的方法結合閉迴路運動規劃與即時、時間上一致的抓取生成，以確保反應性與動作平順。我們的系統對物體的不同位置與方向具有強健性，並能抓取剛性與非剛性物體。我們在一組由 26 種多樣家用物品組成的新基準集、一項由新手使用者（N=6）交接其中 15 種物品的使用者研究，以及一項檢視不同交接方式的系統性評估中，展示此方法的泛化能力、可用性與強健性。更多結果與影片請見 https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects 。

連結

arXiv 2011.08961: https://arxiv.org/abs/2011.08961
DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
PDF: https://arxiv.org/pdf/2011.08961v1
專案頁面: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects