Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

作者: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

HOPMan 利用網路影片，從場景影像與目標影像預測未來的手部與物體遮罩，再將此計畫轉譯為 Franka Panda 的動作，以零樣本方式涵蓋 16 種技能與 40 種物體。

為何重要

關於手與物體如何移動的知識，大多來自被動的網路影片，因此機器人專屬的資料量得以維持很小：作者在約 3 天內蒐集了 600 條配對軌跡。單一目標條件策略在未見過的物體實例、未見過的物體與技能組合、未見過的物體類別以及未見過的技能上接受測試，包括裝在移動底座上、在未經改造的廚房與辦公室中測試。

問題

為每項任務、物體與技能蒐集機器人互動資料無法規模化，而近期具備廣泛能力的系統需要多年的機器人資料，卻仍大多侷限於抓取、放置與推動。利用人類影片取得視覺表示或可供性的方法，仍需要許多機器人示範或部署時訓練，其他方法則為每項任務學習一個獨立的策略。

提出的方法

此策略被分解為兩部分：一個目標條件擴散模型，從目前影像與目標影像預測七個未來的手部與物體遮罩影格，以來自 EPIC-KITCHENS 與 Ego4D 的約 150,000 段兩秒片段訓練；以及一個 Transformer 轉譯策略，將預測的遮罩與目前觀測對應為 8-D 動作（7 個關節位置加上夾爪開/合）。轉譯模型以約 400 條實驗室內與 200 條野外的人與機器人配對軌跡訓練，另加上約 1000 條僅含機器人的軌跡，這些軌跡中的機器人被修補移除、並修補加入一隻人手。

關鍵見解

手與被操作物體的語意遮罩構成一個精簡的計畫空間，它捨去與任務無關的場景細節，並可從未經整理的人類影片中學習。
將策略拆成計畫預測與計畫到動作的轉譯，讓需要大量資料的部分能從網路影片學習，而機器人專屬的部分只需要少量配對資料。
幻覺生成的配對資料（將機器手臂修補成人手的機器人影片）雖不完美，但加入真實配對資料後仍改善了轉譯模型。
論文提出一個結構化的泛化等級：輕度（已見物體與技能的新組態）、標準（新實例、未見過的物體與技能組合）與強（未見過的物體類別、未見過的技能）。

主要結果

HOPMan 在輕度 / 實例 / 未見組合 / 未見類別 / 未見技能泛化上的桌面成功率（%）：68 / 58 / 50 / 40 / 25；目標條件 BC 為 43 / 20 / 13 / 0 / 0，VRB 為 50 / 25 / 15 / 0 / 0。
HOPMan 的野外成功率（%）：60 / 40 / 40 / 30 / 25，BC 為 45 / 10 / 10 / 0 / 0，以 MimicPlay 為基礎的 MP 基準方法為 50 / 15 / 10 / 0 / 0。
僅以被動人類影片訓練的 H2R，在桌面得分 20 / 20 / 15 / 15 / 15，在野外得分 15 / 10 / 15 / 15 / 10；它是唯一在強泛化上高於零的基準方法。
僅有轉譯模型、給定真值手部與物體遮罩時（%）：配對加幻覺資料 85 / 65 / 60 / 60 / 25，僅配對資料 85 / 60 / 50 / 30 / 15，僅幻覺資料 30 / 25 / 25 / 20 / 0。
評估涵蓋約 100 項任務，由 16 種技能與 40 種物體類型構成，每種類型有 2 到 3 個實例。

限制

作者表示，所處理的未見任務在複雜度上仍然有限，並將組合多種技能的長時程任務留待未來研究。
他們預期此框架在靈巧操作上會遇到困難，因為從網路影片還原精確的手部與手指關節姿態仍是未解的問題。
強泛化上的成功率在桌面維持在 25% 到 40%，在野外為 25% 到 30%。
成功與否是以人工檢查最終物體組態與目標影像的接近程度來判定，且未說明每種設定的試驗次數。

對領域的影響

入圍 IEEE ICRA 2024 機器人操作最佳論文獎決選，被引用 82 次。論文連結了一個附有機器人影片的專案網站；未提供程式碼儲存庫。

摘要

我們的目標是開發能夠憑藉多樣的操作技能，以零樣本方式與各種未見過的一般物體互動的機器人，並展示被動的人類影片如何能作為學習這類通用機器人的豐富資料來源。不同於直接從互動資料學習機器人應如何行動的典型機器人學習方法，我們採用一種分解式做法：利用大規模人類影片學習人類會如何完成想要的任務（人類的「計畫」），再將此計畫「轉譯」到機器人的具身形態上。具體而言，我們學習一個人類「計畫預測器」，在給定場景的目前影像與目標影像時，預測未來的手部與物體組態。我們將其與一個「轉譯」模組結合，該模組學習一個以計畫為條件的機器人操作策略，讓機器人能以零樣本方式、在部署時不需訓練，就能依循人類計畫完成一般操作任務。重要的是，計畫預測器可以利用大規模人類影片來學習，而轉譯模組只需要少量領域內資料，且能泛化到訓練時未見過的任務。我們展示所學習的系統能執行超過 16 種操作技能，並可泛化到 40 種物體，涵蓋 100 項桌面操作與多樣化野外操作的真實世界任務。https://homangab.github.io/hopman/

連結

arXiv 2312.00775: https://arxiv.org/abs/2312.00775
DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
PDF: https://arxiv.org/pdf/2312.00775v1
專案頁面: https://homangab.github.io/hopman/