HumanPlus: Humanoid Shadowing and Imitation from Humans

作者: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

以 40 h 人類動作資料訓練的 RL 策略，讓 33-DoF 人形機器人能模仿單一 RGB 相機拍到的操作員；這些遠端操作資料接著用來訓練視覺技能策略，成功率為 60–100%。

為何重要

這套遠端操作設置只需要一位操作員與一台 RGB 相機（論文的比較中列為 $50），並能同時控制身體與雙手，包括蹲下與行走。從事人形機器人的團隊因此得到一條從低成本全身示範通往自主技能的途徑，不必為每項技能建立專屬的任務模擬。

問題

人形機器人原則上可以從大量人類動作資料中學習，但形態與致動上的差異、困難的全身感知與控制，以及缺乏易於取得的全身資料流程，阻礙了這件事。先前的人形機器人遠端操作仰賴動作捕捉衣、外骨骼或 VR 頭戴裝置，作者認為這些設備昂貴，且可使用的場所受限。

提出的方法

一個僅含解碼器的 Transformer 低階策略（Humanoid Shadowing Transformer）在模擬中以 PPO 訓練，訓練資料是重定向到此機器人上的 AMASS 人體姿態，之後以 50 Hz 零樣本部署，並搭配 1000 Hz 的 PD 控制器。由單一 RGB 相機估計出的身體姿態（WHAM）與手部姿態（HaMeR）會即時重定向，讓一位操作員就能驅動整台機器人，同時由兩台頭部相機記錄第一人稱資料。一個改編自 ACT、僅含解碼器的 Humanoid Imitation Transformer 以這些示範訓練，並對預測的未來影像特徵加入 L2 損失，以避免策略忽略視覺。

關鍵見解

• 一個以目標姿態為條件、與任務無關的低階策略，在重定向後的人類動作上訓練，取代了逐項技能的獎勵設計，並能零樣本轉移到硬體上。
• 以單一 RGB 相機進行影隨，讓一位操作員就能同時控制身體與雙手；動覺教導、ALOHA 式與 Meta Quest 等基準方法需要兩位以上的操作員，且不支援全身控制。
• 在預測動作的同時預測未來的影像特徵 token，可避免視覺策略對本體感知過度擬合；沒有這項機制的 ACT 會卡住，不斷重複已完成的子任務。
• 在深度很重要時，雙眼輸入很關鍵：單眼版本在 Wear a Shoe and Walk 上完全失敗，在 Fold Clothes 中對桌子的處理也較為粗糙。

主要結果

• 模仿策略的完整任務成功率：Fold Clothes 100%、Rearrange Objects 90%、Type "AI" 80%、Two-Robot Greeting 90%、Warehouse 90%、Wear a Shoe and Walk 60%，每項任務使用 25–40 次示範。
• Wear a Shoe and Walk（40 次示範）：HIT 為 60%，而單眼版本、ACT 與開迴路重播皆為 0%；ACT 在 Type "AI" 上也是 0%，但在 Fold Clothes、Warehouse 與 Two-Robot Greeting 上與 HIT 相當。
• 六位參與者的使用者研究：在 Rearrange Objects 上，影隨的完整任務時間為 5.20 s，動覺教導為 6.60 s，ALOHA 式為 7.15 s，Meta Quest 為 8.87 s；只有影隨能完成需要蹲下的 Rearrange Lower Objects 任務（15.34 s）。
• 骨盆處的推力測試：學習而得的策略能承受 32/44/70/100 N（前/後/左/右），H1 預設控制器則為 24/36/40/40 N；恢復時間為 1.2 s，預設控制器為 15 s。
• 學習而得的策略能蹲低到 0.44 m（預設控制器為 0.85 m）、跳起 0.35 m（預設為 0 m），並能從椅子上站起，而預設控制器做不到。
• 在 RTX 4090 上，身體姿態估計與重定向以 25 fps 執行，手部姿態以 10 fps 執行；模仿策略在機載電腦上以 25 Hz 執行，供給 50 Hz 的低階策略。

限制

• 硬體的 DoF 比人類少：1-DoF 的踝關節無法做出抬起並甩動單腳之類的動作，5-DoF 的手臂（含手腕）限制了 6-DoF 操作空間控制，並在影隨時留下無法觸及的區域。
• 第一人稱相機固定在頭部且無法主動調整，因此雙手與互動可能跑出視野。
• 固定的重定向對應會捨棄機器人沒有的人體關節，這可能把學習侷限在人類動作的一個子集。
• 姿態估計在大面積遮蔽下會失敗，限制了操作員能站的位置；操作員也必須能直接看到機器人。
• 未處理長時程導航；作者表示這需要多得多的示範，以及準確的真實世界速度追蹤。

對領域的影響

入圍 CoRL 2024 傑出論文獎決選，被引用 442 次。官方專案頁面連結了程式碼：github.com/MarkFzp/humanplus。

摘要

打造外形與人類相似的機器人，其中一個關鍵理由是我們能利用大量的人類資料來訓練。然而，由於人形機器人感知與控制的複雜性、人形機器人與人類在形態與致動上長期存在的實體差距，以及缺乏讓人形機器人從第一人稱視覺學習自主技能的資料流程，在實務上要做到這點仍然很困難。在本文中，我們提出一套全端系統，讓人形機器人能從人類資料中學習動作與自主技能。我們首先使用現有的 40 小時人類動作資料集，以強化學習在模擬中訓練一個低階策略。此策略能轉移到真實世界，讓人形機器人只用一台 RGB 相機就能即時跟隨人體與手部動作，也就是影隨（shadowing）。透過影隨，人類操作員可以遠端操作人形機器人，在真實世界中蒐集用來學習不同任務的全身資料。接著，我們使用蒐集到的資料進行監督式行為複製，以第一人稱視覺訓練技能策略，讓人形機器人能藉由模仿人類技能自主完成不同任務。我們在自行打造的 33-DoF、180cm 人形機器人上展示此系統，它使用最多 40 次示範，以 60-100% 的成功率自主完成穿鞋後站起並行走、從倉庫貨架卸下物品、摺運動衫、重新擺放物品、打字，以及與另一台機器人打招呼等任務。專案網站：https://humanoid-ai.github.io/

連結

• arXiv 2406.10454: https://arxiv.org/abs/2406.10454
• DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
• PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
• 程式碼: https://github.com/MarkFzp/humanplus
• 專案頁面: https://humanoid-ai.github.io/