Diffusion Policy
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: robot-learning, generative-models
以擴散模型產生平順動作分布的機器人學習方法。
定義
Diffusion Policy 使用去噪擴散模型來生成機器人動作，產生平滑且多模態的動作分布。能有效地從示範中學習複雜的操作行為。
為何重要
擴散策略把影像模型背後的生成技術應用到機器人動作上，透過反覆去雜訊來學習產生一串動作。它的重要性具體而實際：它能處理多模態。當完成一個任務有好幾種同樣好的方式時，傳統的迴歸策略會把它們平均，產生一個對哪一種都行不通的結果：伸手到兩個有效抓取點之間，而不是其中任何一個。擴散則改為取樣出一個連貫的選項，這就是它成為模仿學習預設基準方法的原因。
主要應用
- 在低成本手臂上從遠端操作示範進行模仿學習
- 雙臂與高維度操作，這類情況下動作平均的危害最大
- 插入、擦拭與摺疊等大量接觸的任務
- 有好幾種不同策略都有效的多模態任務
- 操作研究中的基準比較
- 不需明確狀態估計器、直接從攝影機影像進行的視覺運動控制
實際應用
標準的做法使用數十到兩百個左右的遠端操作示範，策略預測一段未來動作而不是單一步驟，執行這段動作的一部分後再重新規劃，這種滾動時域的模式正是此方法以平順、時間上一致的動作著稱的原因。代價在於推論：去雜訊需要多次通過網路，所以控制頻率低於單次輸出的策略，而後續研究有很大一部分是在減少所需的步驟數。
常見誤解
- 擴散策略會產生影像：擴散過程是在動作序列上進行，而不是在像素上
- 它需要龐大的資料集：與強化學習不同，它的特點正是只需數十到數百個示範就能運作
- 它太慢而不實用：動作分段（action chunking）把去雜訊的成本分攤到許多控制步驟上
- 它讓好的示範不再必要：它會重現它所看到的分布，包括其中的錯誤
誰需要了解
- 任何從示範訓練操作策略的人
- 在行為複製、擴散與強化學習之間做選擇的工程師
- 需要目前標準基準方法的研究人員
- 想了解為何動作平均是真實失效模式的學生
- 任何正在蒐集遠端操作資料、想知道多少才夠的人
相關技術
- DDPM（Denoising Diffusion Probabilistic Models）
- Action Chunking with Transformers（ACT）
- 行為複製
- 模仿學習
- Vision Transformer（ViT）
- 基於分數的生成模型
- 軌跡最佳化
- 無分類器引導
相關術語
相關專案
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
- robosuite: Modular MuJoCo simulation framework for robot learning research
- LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
- Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments
影片
- Diffusion Policy: LeRobot Research Presentation #2: HuggingFace