Motion Retargeting
- 又稱: motion mapping, motion transfer, kinematic retargeting, human-to-robot motion transfer
- 類別: Control › Human in the loop
- 標籤: motion-retargeting, teleoperation, humanoid
把動作從來源身體轉移到物理尺寸不同的目標機器人上，讓遠端操作與從人到機器人的技能轉移成為可能。
定義
動作重定向是把動作從來源身體轉移到目標身體的過程，而目標身體的物理尺寸、關節配置或自由度都不相同。在機器人學中，這最常指把人的動作（透過動作捕捉、VR 控制器或影片擷取）對應到機器人身體上，讓機器人即使比例與關節結構根本不同，也能重現人想要的動作。
難處在於，在連桿長度、關節極限與自由度都不同的身體之間直接複製關節角度，會產生面目全非或物理上不可行的動作。人的肩部旋轉可能對應到機器人三個關節的組合。人伸手可達 70 cm，對只能伸到 50 cm 的機器手臂來說可能需要縮放。動作重定向演算法解決這些對應問題，同時保留原始動作的本質特徵與意圖。
重定向方法分為幾類。幾何重定向在來源與目標之間對應末端執行器的位置與朝向，並以逆向運動學求解目標的關節角度。這保留了任務空間的行為（手要到哪裡），但可能產生不自然的關節空間動作。以最佳化為基礎的重定向把問題表述為最小化一個成本函數，在任務空間追蹤、滿足關節極限、避免自我碰撞與動作平順度之間取得平衡。以學習為基礎的重定向則以成對的動作資料訓練神經網路，找出能泛化到各種動作的對應方式。
動作重定向已成為兩種新興機器人工作流程的關鍵。第一是用於資料蒐集的遠端操作：戴著 VR 頭戴裝置的操作人員以自然的方式執行任務，為機器人學習產生示範資料，重定向則即時把他們的動作轉換到機器人的動作空間。第二是從人類影片到機器人動作：從網路影片中擷取人的動作，並重定向到各種機器人形態上，有可能在完全不需要機器人硬體的情況下提供大量訓練資料集。
近期的研究已把重定向延伸到人形機器人的全身控制，把人的全身動作（步行、彎腰、伸手）重定向到質量分布、關節極限與平衡約束都不同的人形機器人上。這不只需要運動學重定向，還需要動態可行性檢查，以確保目標機器人能在不跌倒的情況下實際執行重定向後的動作。
為何重要
動作重定向是人類技能與機器人執行之間的橋梁。人能自然地示範幾乎任何操作或行走運動任務，但機器人的身體不同。重定向讓人類示範，無論來自遠端操作、動作捕捉，甚至網路影片，都能作為機器人策略的訓練資料。隨著這個領域從昂貴的特定機器人示範轉向從大規模人類資料學習，重定向成為瓶頸技術：重定向動作的品質直接決定學到的機器人行為的品質。
主要應用
- 遠端操作資料蒐集：把 VR 控制器與手部追蹤輸入轉換成機器人關節指令，用於即時或錄製的示範
- 人形機器人全身控制：把人的全身動作對應到人形機器人上，用於行走運動、舞蹈與操作任務
- 從人類影片學習：從網路影片中擷取人體姿態序列，並重定向成機器人訓練資料
- 動畫與模擬：把動作捕捉資料轉移到機器人模型上，用於視覺化、規劃驗證與數位孿生運作
- 跨機器人轉移：把在某個機器人平台上學到的技能，重定向到運動學不同的另一個機器人上
- 義肢控制：把殘肢的動作對應成義肢裝置的指令，並具有自然的動作品質
實際應用
Stanford 的 HumanPlus 專案把單一 RGB 相機所擷取的人體全身動作，對應到 Unitree H1 人形機器人上。人類操作者只要在被拍攝時步行、伸手並操作物體即可。人體姿態估計會擷取 3D 關節位置，接著透過一個最佳化把它們重定向到 H1 的運動學模型上，該最佳化在遵守機器人關節極限並維持平衡的同時，將末端執行器的位置誤差降到最小。重定向後的動作作為示範資料，以模仿學習訓練行走運動與操作策略。重定向的品質至關重要：如果對應後的動作違反機器人的物理約束，學到的策略在真實硬體上就會失敗。
常見誤解
- 動作重定向只是縮放關節角度：不同的運動學結構意味著不存在簡單的線性對應；重定向需要求解逆向運動學、處理冗餘並滿足物理約束
- 重定向後的動作在物理上一定可行：運動學重定向可能產生違反扭矩極限、造成自我碰撞或導致失去平衡的動作；動態可行性必須另外檢查
- 動作重定向只適用於人形機器人：它也用於把人的手部動作對應到多指夾爪、把人的手臂動作對應到工業機器手臂，甚至把動物的行走運動對應到足式機器人
- 完美的重定向代表精確重現：好的重定向保留的是任務意圖與接觸互動，不一定是精確的關節軌跡；機器人可能以完全不同的手臂組態達成同樣的抓取
誰需要了解
- 建置人機介面的遠端操作系統工程師
- 研究全身動作生成的人形機器人研究人員
- 透過遠端操作蒐集示範資料的機器人學習研究人員
- 研究角色動畫重定向的電腦圖學研究人員
- 為義肢或外骨骼研究人體動作的生物力學工程師
相關技術
- 逆向運動學求解器
- VR 遠端操作系統
- 人體姿態估計
- SMPL 人體模型
- 動作捕捉（MoCap）系統
- 以最佳化為基礎的 IK
相關專案
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- GEAR-SONIC: NVIDIA's whole-body controller for the Unitree G1, trained to track any human motion
影片
- REEM - Motion retargeting: PAL Robotics
- Robust Real-time Whole-Body Motion Retargeting from Human to Humanoid: HUCEBOT @ Inria