Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

附程式碼與資料的機器人學習論文

以淺白的語言解說近期的機器人學習論文,依據引用次數與社群關注度挑選。其中大多數論文附有程式碼與資料集連結。

論文

  • Learning Heterogeneous Tactile Representation for General Dexterous Manipulation: 一個以 JEPA 訓練的編碼器,將壓阻式、磁性與視觸覺感測器放進同一個指尖空間;在凍結狀態下,它讓四種策略在 26 項真實任務上提升 13.9–24.8 個百分點,並且在一種未見過的感測器上同樣有效。
  • SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model: 追蹤大型人類動作資料集,已成為實現通用且富表現力的人形機器人全身控制的主流途徑,但要擴展到大量動作,代價相當高。現有流程採用無模型強化學習,不是透過有損的蒸餾合併針對單一動作的專家策略,就是以叢集規模的運算硬是訓練出單一策略。SuperMimic 以一個描述所有動作共同動力學的可微分世界模型,在所有動作之間攤提學習成本;這個模型是根據標準剛體模擬器記錄下來的狀態轉移擬合而成。世界模型與追蹤策略在同一個迴圈中一起訓練,並在短暫的想像軌跡上進行時間反向傳播,為策略提供解析梯度。快速的想像軌跡與解析梯度,讓策略學習更有效率。在單一 GPU 上訓練 3 小時,SuperMimic 的回報就超越一個在…
  • Learning from Fleet Experience: A Collective Learning Paradigm for Robots: 已部署的機器人分享成功的執行紀錄,並由失敗決定要以哪些紀錄重新訓練。藉由最多 96 台 AgiBot G2 機器人、且沒有新的專家動作,五項任務達到 93.3–99.2% 的成功率。
  • Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions: 儘管策略學習近來有所進展,長時程操作依然困難,因為學習而來的策略必須避免誤差累積,同時保有未來的可行性。以搜尋為基礎的規劃雖能明確推理這些未來後果,但在高維連續動作空間中很快就會變得代價高昂。這帶出一個核心問題:如何把搜尋得到的長時程推理轉移到連續動作空間中的策略?為此,我們提出 DISCO:Distilled Tree Search over Continuous Actions(連續動作上的蒸餾樹搜尋)。DISCO 在物理模擬中使用具漸進加寬的 MCTS 來產生長時程規劃。搜尋期間,學習而來的策略提出連續動作,學習而來的價值函數則依動作對完成任務的預期進展為其評分。藉由 GPU…
  • Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence: 將凍結的 VLA 包覆在以程式碼為基礎的評判器與恢復技能中,由代理人依據失敗的模擬 rollout 進行診斷、修復與驗證,使 RoboCasa 成功率從 73.6% 提升到 93.6%。
  • RoboTTT: Context Scaling for Robot Policies: 測試時訓練層讓 GR00T N1.7 策略擁有 8K 個時間步(約五分鐘)的記憶,而每個動作的成本不變:任務完成度 79%,基礎模型只有 42%;看一段人類影片就能單樣本模仿;也是唯一完整做完五分鐘組裝任務的方法。
  • Flatness-Preserving Residual Learning for Real-Time Tight Quadrotor Formation Flight: 一個只取決於位置與速度的下洗氣流殘差模型,讓雙四旋翼動力學保持平坦,因此低成本的平坦性控制器就能達到 NMPC 的追蹤表現,求解時間約少 20x。
  • NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception: 一個用於低成本伺服機手臂的 Transformer 致動器模型,透過可微分 MuJoCo 從姿態資料訓練,不需力感測器就能估測末端執行器受力,並改善具力感知的模仿學習。
  • Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?: 多指機器人可望擁有人手的速度與靈巧,但精密組裝這類難題一直無法做到。這類任務接觸密集,讓模仿學習的資料收集十分困難;獎勵又很稀疏,使得直接以強化學習(RL)探索幾乎不可行。因此,過去的研究是靠專用夾爪、工具附件和環境中的治具來簡化問題,才有所進展。在這項研究中,我們主張機器人在把精密組裝做到完美之前,必須先學會玩。我們進一步提問:在學習玩的過程中,哪些因素對精密組裝真正重要?我們提出 Play2Perfect,這是一套 RL…
  • Geometric Action Model for Robot Policy Learning: 拆分一個預訓練的 3D 幾何模型並插入因果預測器,讓一個骨幹同時預測未來深度與動作:1.4B 參數、每步 6.9 ms,在 LIBERO-Plus 攝影機偏移下達到 83.1%。
  • FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning: NEXT 只需 10 分鐘自由動作資料與 1 分鐘訓練,就能在沒有力感測器的手臂上估計關節外部扭矩,讓 2,500 美元的 Piper 也能做力回饋遠端操作並學到更好的策略。CoRL 2026 口頭報告論文。
  • GRAIL: Generating Humanoid Loco-Manipulation from World Models: 要擴大人形機器人的移動操作規模,需要涵蓋多樣物件、全身動作與場景幾何、且與機器人相容的示範,但遠端操作與動作擷取都難以擴大規模,因為每次蒐集都仰賴實體布置、穿戴感測裝置的演員以及機器人的操作。我們提出 GRAIL,一套在部署之前始終完全虛擬的數位生成流程:它把影片世界模型錨定在 3D 資產與可直接用於模擬器的場景中,不必重建實體環境,也不必遠端操作機器人,就能合成互動。GRAIL 不去重建不受控的真實世界影片,而是從完全指定的 3D 配置出發,其中物件幾何、相機參數、公制尺度、環境深度,以及依機器人比例打造的角色,在生成影片前就已知,並在重建時重複使用。這種具備特權資訊的設定讓 4D…
  • What Are We Actually Benchmarking in Robot Manipulation?: 機器人基準測試分數衡量的是在單一固定評估設定下的成功率,卻經常被視為通用操作能力的證據。我們找出四種失效模式,每一種都會削弱或推翻基準測試作為該能力有效替代指標的角色:可用捷徑解題、缺乏統計顯著性、漸進式過度擬合,以及對資料來源的依賴。我們為每種失效模式提出一項診斷,並以這些診斷稽核 LIBERO、CALVIN、SimplerEnv、RoboCasa 與 RoboTwin 2.0。LIBERO 與 CALVIN 有多項診斷不及格。RoboCasa 與 RoboTwin 2.0 不及格的較少,儘管它們在近期的進展宣稱中出現的次數少得多。在 LIBERO 上,一個沒有語言編碼器的 0.09B…
  • Muninn: Your Trajectory Diffusion Model But Faster: Muninn 在每個去雜訊步驟決定是否重複使用快取的去雜訊器輸出,讓擴散規劃最多加速 4.6x,並對與完整計算規劃之間的偏差提供經校正的界限。
  • RLDX-1 Technical Report: RLDX-1 在以 Qwen3-VL 為基礎的 flow matching VLA 上加入運動、記憶與扭矩/觸覺資訊流,在模擬中以及在 ALLEX、OpenArm 與 Franka 機器人上勝過 π0.5 與 GR00T N1.6。
  • MolmoAct2: Action Reasoning Models for Real-World Deployment: MolmoAct2 是完全開放的 VLA,公開權重、程式碼與訓練資料。不需額外訓練,在五項真實 Franka DROID 任務上達到 87.1%,π0.5-DROID 為 45.2%;在 SO-100 手臂上達到 56.7%。獲選 CoRL 2026 spotlight。
  • RL Token: Bootstrapping Online RL with Vision-Language-Action Models: RL Token(RLT)透過單一精簡的讀出 token 加上小型的演員-評論家頭,在預訓練的 VLA 之上啟動線上強化學習,在數分鐘到數小時內微調真實機器人策略,速度提升最高達 3×。
  • π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities: π0.7 是 Physical Intelligence 的 5B 機器人模型,以子任務、產生的子目標影像與回合品質標籤來提示。同一個檢查點在靈巧任務上追平微調過的專用模型,並能在沒有摺衣資料的機器人上摺襯衫。CoRL 2026 口頭報告;未釋出程式碼與權重。
  • FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control: FlashSAC 以大型網路、大批次、少量更新與範數限制來穩定 Soft Actor-Critic,在高維任務上勝過 PPO,並將 G1 的模擬到現實訓練縮短到數分鐘。
  • Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops: 我們提出 Kamino,一個以 GPU 為基礎的物理求解器,用於對異質、高度耦合的機械系統進行大規模平行模擬。它以 Python 搭配 NVIDIA Warp 實作,並整合進 Newton 框架,讓資料驅動的方法(例如大規模強化學習)能套用在具有強耦合運動學與動力學約束(例如運動學迴路)的複雜機器人系統上。後者通常會被迴避:將系統拓撲近似為一棵運動學樹,再加入明確的迴路封閉約束或所謂的模仿關節。Kamino 的目標是原生支援這類耦合,以減輕這項負擔。此外,Kamino 支援異質世界,可在單一 GPU 上批次模擬結構各不相同的機器人。其核心是一種以 ADMM…
  • MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation: 機器人學習領域普遍認為,光靠模擬並不足夠;一般相信,要達成有效的模擬到現實(Sim-to-Real)遷移,至少需要蒐集一些真實世界資料,或進行針對任務的微調,才能彌補模擬環境與實體環境之間的落差。我們挑戰這個假設。只要模擬合成的訓練資料規模夠大、夠多樣,我們證明零樣本遷移到真實世界不僅可行,而且對靜態操作與移動操作都有效。我們推出 MolmoBot-Engine,這是一套完全開源的管線,可在 MolmoSpaces 中跨機器人、任務與多樣的模擬環境進行程序化資料生成。透過它,我們釋出 MolmoBot-Data,一個包含 1.7…
  • cuNRTO: GPU-Accelerated Nonlinear Robust Trajectory Optimization: cuNRTO 改寫了非線性穩健軌跡最佳化的內層求解器,讓錐投影在 GPU 上平行執行,與內點法相比,求解時間最多縮短 139.6x。
  • LeRobot: An Open-Source Library for End-to-End Robot Learning: LeRobot 是一個涵蓋整個機器人學習技術堆疊的開源 PyTorch 函式庫:用於低成本機械手臂的馬達中介軟體、支援串流的共用資料集格式、ACT、Diffusion Policy、pi0 與 SmolVLA 等現成策略,以及一套非同步推論堆疊。
  • World Action Models are Zero-shot Policies: 影片擴散骨幹網路同時預測未來影格與動作:泛化能力比 VLA 好 2 倍,只需 30 分鐘的遊玩資料就能適應新的機器人形態。
  • VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model: 我們使用世界模型推演,提升視覺-語言-動作(VLA)模型在真實世界中的表現。
  • OAT: Ordered Action Tokenization: OAT 將一個動作區塊壓縮成 8 個有序 token,任何前綴都能解碼成有效的動作區塊。使用 OAT 的自迴歸策略勝過分箱、FAST、QueST 與擴散策略。
  • Green-VLA: Staged Vision-Language-Action Model for Generalist Robots: 一個約 4B 的 VLA 分五個階段訓練(網路資料、多機器人預訓練、機器人調校、RL),透過共享的 64 槽位動作空間控制人形、雙臂與單臂機器人。
  • Plant-Inspired Robot Design Metaphors for Ambient HRI: 一項設計研究(research-through-design),製作類植物的機器人葉片、莖與花盆,將其組合成四個原型,並從 11 人參與的工作坊中歸納設計考量。
  • Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization: 我們提出 Being-H0.5,一個基礎性的視覺-語言-動作(VLA)模型,目標是在多樣的機器人平台之間實現穩健的跨形態泛化。現有的 VLA 經常受困於形態差異與資料稀少,因此我們提出以人為中心的學習典範,把人類的互動軌跡當作物理互動的通用「母語」。為此,我們推出 UniHand-2.0,這是目前規模最大的具身預訓練配方,涵蓋來自 30 種不同機器人形態、超過 35,000 小時的多模態資料。我們的方法引入統一動作空間(Unified Action…
  • PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation: PointWorld 以點流將狀態與動作統一在共享的 3D 空間中,將 3D 世界模型擴展到真實世界的機器人操作。
  • From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment: 在一家正常營業的寢具店中,門口的機器人提高了駐足路人的比例,卻降低了每位駐足者的店員接待、進店與購買比例;員工訪談說明了原因。
  • Cognitive Trust in HRI: “Pay Attention to Me and I’ll Trust You Even If You Are Wrong”: 認知信任,也就是相信機器人能準確執行任務,被認為是促成高品質人機互動的核心因素。機器人的能力與可靠性等表現因素會形塑認知信任,這一點早已確立。近期研究指出,機器人的專注度等情感因素,在建立認知信任上也扮演一定角色。本研究探討形塑認知信任的這兩類因素之間的交互作用。具體而言,我們評估機器人能力與專注度的不同組合是否會帶來一種補償機制,也就是一個因素彌補另一個因素的不足。在實驗中,參與者在一個 2 × 2…
  • Self-Improving Vision-Language-Action Models with Data Generation via Residual RL: PLD 以 VLA 機器人策略自己產生的資料來改進它:小型殘差強化學習策略學習修正 VLA 的失敗,其軌跡被用來微調 VLA,不需要額外的人類示範。
  • Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization: 以機器人動作微調 OpenVLA 會使其視覺表徵崩塌;將第 16 層特徵與凍結的 C-RADIOv3 教師模型對齊,可提高 Simpler 中的 OOD 成功率,例如 Carrot 從 0.49 → 0.61。
  • πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models: πRL 讓 π₀ 與 π₀.₅ 等以流為基礎的 VLA 模型能以線上強化學習進行微調;在模擬中,它將少樣本 π₀.₅ 在 LIBERO 上的成功率從 77.1% 提升到 98.3%。
  • RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning: 家庭與工廠中的真實世界機器人操作,需要接近或超越熟練人類操作員的可靠性、效率與穩健性。我們提出 RL-100,一個建立在擴散視覺運動策略之上的真實世界強化學習框架。RL-100 在去噪過程中使用單一的裁剪 PPO 替代目標,將模仿學習與強化學習統一起來,在離線與線上階段都帶來保守而穩定的改進。為了滿足部署的延遲要求,一種輕量的 consistency distillation 方法將多步擴散壓縮成一步控制器,用於高頻控制。此框架不受任務、機器人本體與表示方式限制,並同時支援單一動作與 action chunking 控制。我們在八項多樣的真實機器人任務上評估…
  • Spatial Forcing: Implicit Spatial Representation Alignment for Vision-Language-Action Models: 將 VLA 的視覺嵌入與 3D 基礎模型的幾何對齊,讓以 2D 預訓練的模型無需深度感測器就具備空間感知:取得最先進的結果,訓練最多快 3.8 倍。
  • Ctrl-World: A Controllable Generative World Model for Robot Manipulation: 我們提出一個用於機器人操作的可控世界模型,可同時用於策略評估與策略改進。
  • LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization: LIBERO-PRO 對 LIBERO 的物體、起始位置、指令與場景施加擾動。在位置與任務改變下,OpenVLA、pi0 與 pi0.5 從 82–99% 跌到接近 0%。
  • GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks: GRITS 在測試時以一個用 4,000 次模擬舀取訓練的灑落分類器引導 Diffusion Policy,在未見過的食物上將真實世界灑落率從 45% 降到 4%。
  • Kilometer-Scale GNSS-Denied UAV Navigation via Heightmap Gradients: A Winning System from the SPRIN-D Challenge: SPRIN-D 挑戰賽冠軍系統:在 GNSS 拒止下以低於 25 m AGL 完全機載飛行 9 km 的無人機,以梯度模板將光達(LiDAR)產生的高度圖與事先取得的地理資料比對,並在分群粒子濾波器中融合,僅靠 CPU 即時運作。
  • OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction: 具硬性運動學約束的互動網格重定向,將人類 MoCap 資料轉換成乾淨的人形機器人參考動作;只用 5 個獎勵項的 RL 策略即可零樣本轉移到 Unitree G1。
  • LocoFormer: Generalist Locomotion via Long-context Adaptation: LocoFormer 在約 100k 個程序化生成的機器人上以 RL 訓練單一的長上下文 Transformer-XL 策略;它能以零樣本方式控制未見過的機器人,並在多次試驗中逐步改進。
  • VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model: 一個 Bridge Attention 策略模組,讓 0.5B 參數的 VLA 無需機器人資料預訓練就能達到最先進水準的結果,在單張消費級 GPU 上約 8 小時完成訓練。
  • Geometry-Aware Predictive Safety Filters on Humanoids: From Poisson Safety Functions to CBF Constrained MPC: 由感知資料計算、並在時間與機器人朝向上加以擴充的 Poisson 安全函數,被送入受 CBF 約束的 MPC,引導 G1 與 Go2 機器人繞過移動與靜止的障礙物。
  • GeoVLA: Empowering 3D Representations in Vision-Language-Action Models: GeoVLA 將由深度圖取得、以末端執行器為中心編碼的點雲,與 VLM 特徵一起送入擴散動作頭,在高度、尺寸與視角改變時表現更穩定。
  • Self-Wearing Adaptive Garments via Soft Robotic Unfurling: SWAG 在衣物上加裝小型充氣藤蔓機器人,讓衣物從前端在肢體上展開,於 13-21 s 內穿上袖子、外套或褲子,布料完全不會在皮膚上滑動。
  • The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio: MultiGen 將物理模擬器與經過微調的影片轉音訊模型配對,產生視聽倒水資料,訓練出的策略不需任何真實機器人資料,就能以零樣本方式倒出真實液體。
  • Steering Your Diffusion Policy with Latent Space Reinforcement Learning: DSRL 訓練一個負責挑選輸入雜訊的小型 RL 策略,以改進凍結的擴散或流策略,在數十到數百個回合內完成實體機器人與 π0 的調適。
  • GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics: 一個用於四旋翼的精簡 VLA,在 3D Gaussian Splatting 模擬器中以可微分 RL訓練,並採用混合專家動作頭,可完全在機上執行並遵循語言指令。
  • ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation: 一個具有以 NTK 為基礎之不確定性的殘差物理推動模型,挑選最具資訊量的推動來練習、最可靠的推動來規劃,提升資料效率與推後抓取的成功率。
  • Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning: Fabrica 依據零件網格為雙臂組裝規劃順序、抓取、治具與運動,再使用能以零樣本方式轉移的 RL 插入策略,實際組裝步驟成功率達 80%。
  • SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics: 以大型多模態資料集訓練的視覺語言模型,為機器人應用提供了穩固的基礎。近期的方法將這些模型調整為視覺-語言-動作(VLA)系統,實現以自然語言驅動的控制。然而,現有系統通常包含數十億個參數,帶來高昂的訓練與部署成本。這項工作提出 SmolVLA,一個為平價機器人學設計的精簡高效系統,大幅降低訓練與推論成本,同時保有具競爭力的表現。模型可在單張 GPU 上訓練,並部署在消費級硬體或 CPU 上。非同步推論方法將感知與動作預測從執行中解耦,搭配分塊動作生成,實現更高的控制頻率。儘管架構精簡,SmolVLA 的表現仍可與大 10 倍的 VLA…
  • DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation: 為每種手量身打造的可穿戴外骨骼,加上機器人手影像修補,把人手示範轉換為機器人手的訓練資料,在兩種手的四項真實任務中平均成功率為 86%。
  • Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation: 一個針對足式機器人的 RL 策略接受位置與力指令,並從關節歷史估計外力,不需力感測器即可實現柔順控制與具力感知的模仿學習。
  • FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields: 在水果 NeRF 中加入一個以對比方式訓練的實例場,使任何種類的水果都能透過對 3D 點雲分群來計數,不需要針對特定水果的形狀範本。
  • Robo-DM: Data Management For Large Robot Datasets: Robo-DM 將每個機器人回合的影片、語言與動作串流存放在一個帶時間戳記的 EBML 檔案中,相較於 RLDS 最多縮小 70x,載入速度也比 LeRobot 更快。
  • Visual Imitation Enables Contextual Humanoid Control: VideoMimic 從手機影片重建人與場景,把動作重定向到 Unitree G1,並訓練出一個能依地形爬樓梯、坐下或站起的單一策略。
  • PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies: PolyTouch 將以攝影機為基礎的觸覺、接觸式麥克風與周邊視覺整合進一根耐用的手指;使用它的觸覺 Diffusion Policy 在四項雙臂任務上勝過視覺加本體感知的策略。
  • Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation: 一個學習而得的模型依據高度掃描與本體感知歷史,預測 ANYmal 的未來姿態與失敗風險,讓 MPPI 規劃器只需一個目標項與一個風險項就能安全規劃。
  • Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models: 產生的人完成各個子任務的影像,提供手/腳接觸點與經重定向的機器人姿態,引導全身軌跡最佳化完成長時域的人形機器人任務。
  • π0.5: a Vision-Language-Action Model with Open-World Generalization: π0.5 是一個透過在異質資料(多機器人、網路、語意預測)上共同訓練而達成開放世界泛化的 VLA,能在全新、從未見過的住家中執行清潔廚房等長時域靈巧任務。
  • Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets: 單一擴散 transformer 為動作與未來影像分別設置獨立的雜訊時間步,可擔任策略、動力學模型或影片預測器,並能以沒有動作的影片訓練。
  • GR00T N1: An Open Foundation Model for Generalist Humanoid Robots: NVIDIA 為人形機器人推出的開放雙系統 VLA 模型,結合視覺語言推理與用於即時馬達控制的擴散 Transformer,以 1.3M+ 條多樣軌跡訓練。
  • No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent: 沿著一個由相互連接的估計器所組成之網路中最陡的梯度前進,不需規劃器就能解決積木世界與真實的開抽屜任務,並能適應不確定性與干擾。
  • Ro-To-Go! Robust Reactive Control with Signal Temporal Logic: 一種新的 STL 強健度量度,忽略已執行過的過去,以公式推進在線上計算,讓 MPC 規劃器在早期發生險情後,仍能偏好更安全的未來。
  • FAST: Efficient Action Tokenization for Vision-Language-Action Models: FAST 使用以離散餘弦轉換為基礎的壓縮進行機器人動作 token 化,讓自迴歸 VLA 能處理標準分箱方法無法應付的靈巧高頻控制,以低 5 倍的訓練成本達到與擴散 VLA 相當的表現。
  • OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints: 開發能在非結構化環境中進行操作的通用機器人系統是一項重大挑戰。雖然視覺語言模型(VLM)擅長高階常識推理,卻缺乏精確操作任務所需的細粒度 3D 空間理解。在機器人資料集上微調 VLM 以建立視覺-語言-動作模型(VLA)是一種可能的解法,但它受到高昂的資料蒐集成本與泛化問題所阻礙。為了因應這些挑戰,我們提出一種新穎的以物件為中心的表示,彌合 VLM 高階推理與操作所需的低階精度之間的落差。我們的關鍵洞見是:由功能可供性所定義的物件標準空間,提供了一種結構化且具語意意義的方式來描述點與方向等互動基元。這些基元作為橋梁,將 VLM 的常識推理轉換為可執行的 3D…
  • RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation: 雙臂操作在機器人領域至關重要,但要開發其基礎模型極具挑戰,原因在於協調兩支機器手臂本身的複雜性(會導致多峰的動作分布)以及訓練資料的稀少。在本文中,我們提出 Robotics Diffusion Transformer(RDT),一個開創性的雙臂操作擴散基礎模型。RDT 以擴散模型為基礎,有效表示多峰性,並透過可擴展 Transformer 的創新設計,處理多模態輸入的異質性,並捕捉機器人資料的非線性與高頻特性。為了解決資料稀少的問題,我們進一步提出物理可解釋的統一動作空間(Physically Interpretable Unified Action…
  • Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?: RRT 產生的示範動作熵很高,會損害行為複製;一致性較高的規劃器資料,能為高接觸任務訓練出可零樣本轉移到硬體的擴散策略。
  • Navigation World Models: 一個 1B 參數的擴散 transformer 依據過去的畫格與導航動作預測未來的第一人稱視角畫格,再比較想像出的最後一格與目標影像,藉此規劃路徑或為路徑排序。
  • CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation: CogACT 在一個 7B 視覺-語言模型之上加裝一個擴散 Transformer 動作模組。在 SIMPLER 模擬中,它的平均成功率比 OpenVLA 高出 35% 以上,在兩台真實機械手臂上高出 55%。
  • Instant Policy: In-Context Imitation Learning via Graph Diffusion: Instant Policy 只需一兩次示範就能學會新的機器人任務,無需進一步訓練。它把情境內模仿視為以擴散進行的圖生成,並以模擬中產生的偽示範訓練。
  • RoboCrowd: Scaling Robot Data Collection through Crowdsourcing: 一座設在大學咖啡館裡的 ALOHA 遠端操作工作站,利用糖果獎勵、引人入勝的任務與排行榜,從 231 人蒐集到 817 個回合;這些資料作為 ACT 的預訓練資料有幫助。
  • pi0: A Vision-Language-Action Flow Model for General Robot Control: 機器人學習極有希望釋放靈活、通用且靈巧的機器人系統的全部潛力,並回答人工智慧中一些最深刻的問題。然而,要讓機器人學習達到有效的真實世界系統所需的通用程度,在資料、泛化與穩健性方面都面臨重大障礙。在本文中,我們探討通用機器人策略(即機器人基礎模型)如何因應這些挑戰,以及我們如何為複雜且高度靈巧的任務設計有效的通用機器人策略。我們提出一種建立在預訓練視覺語言模型(VLM)之上的新穎流匹配架構,以繼承網際網路規模的語意知識。接著我們討論如何以來自多種靈巧機器人平台(包括單臂機器人、雙臂機器人與移動操作機器人)的大型多樣資料集訓練這個模型。我們從三方面評估模型:預訓練後以零樣本方式執行任務的能力、遵循…
  • HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning: 一套樣本高效、人在迴路中的 RL 系統,能在 1 到 2.5 小時內把真實世界操作策略訓練到接近完美的成功率,使模仿學習的成功率翻倍。
  • Deploying Ten Thousand Robots: Scalable Imitation Learning for Lifelong Multi-Agent Path Finding: SILLM 模仿一個強大的搜尋式求解器,加入空間通訊、交通引導與 PIBT 衝突修復,能以每步不到 1 s 的時間為 10,000 個代理進行規劃,並達到最高吞吐量。
  • GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation: 一個 GPT 風格的模型,先以 38M 段網路影片預訓練來預測影片,再經微調輸出未來畫格與動作軌跡;在 105 項真實桌面任務上成功率為 97.7%。
  • Robust Ladder Climbing with a Quadrupedal Robot: 鉤形末端執行器與教師-學生強化學習(RL)策略,讓 ANYmal D 以零樣本方式攀爬傾角 70°–90° 的梯子,硬體成功率為 90%,平均速度為 0.44 m/s。
  • Autonomous Hiking Trail Navigation Via Semantic Segmentation and Geometric Analysis: 相機語意與光達(LiDAR)幾何被融合成一張可通行性地圖;接著由 RRT* 路徑點規劃器讓 Husky 機器人留在步道上,但遇到危險時讓它離開步道繞行。
  • MAC-VO: Metrics-Aware Covariance for Learning-Based Stereo Visual Odometry: MAC-VO 學習逐像素的光流與深度不確定性,將其轉換為完整、具公制尺度的 3D 關鍵點共變異數,並用來挑選關鍵點、為兩幀姿態最佳化加權。
  • Perceptive pedipulation with local obstacle avoidance: 針對 ANYmal 的端到端 RL 策略,在以整個身體避開障礙物的同時追蹤足部位置指令,使用 2.5D 高度掃描與一個允許刻意足部接觸的開關。
  • Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning: DWL 在 Isaac Gym 中訓練一個人形機器人行走策略,學習從帶雜訊的本體感知重建完整的機器人狀態,接著不經修改就在真實的 XBot 機器人上走過樓梯、斜坡與雪地。
  • ReMix: Optimizing Data Mixtures for Large Scale Imitation Learning: ReMix 對策略的超額損失使用群組分布強健最佳化,學習每個機器人資料集該取樣多少,在真實機器人上勝過均勻權重與 RT-X 專家權重。
  • RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors: RoPotter 利用黏土的 2D 截面,以及以網格為基礎還原被遮蔽的點,教機器人在拉坯機上把黏土塑成兩種碗,每種各使用 40 次示範。
  • APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation: APriCoT 把一次手內重新抓取拆成由脫離、跨越與接觸組成的四個短 RL 基元,讓模擬中的 Shadow Hand Lite 能把物體轉半圈並達到目標抓握。
  • Equivariant Diffusion Policy: Equivariant Diffusion Policy 把 SO(2) 旋轉對稱性內建到 Diffusion Policy 的去雜訊器中,在 100 次示範時讓模擬平均成功率提高 21.9 個百分點,並能從 20-60 次示範學會真實任務。
  • PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators: 以 DINOv2 + 因果 Transformer 搭配同策略強化學習訓練的僅 RGB 室內導航代理,在 CHORES-S 上達到 85.5% 的成功率(提升 28.5%),並在 LoCoBot 與 Stretch 機器人上實現零樣本模擬到現實遷移。
  • HumanPlus: Humanoid Shadowing and Imitation from Humans: 以 40 h 人類動作資料訓練的 RL 策略,讓 33-DoF 人形機器人能模仿單一 RGB 相機拍到的操作員;這些遠端操作資料接著用來訓練視覺技能策略,成功率為 60–100%。
  • OpenVLA: An Open-Source Vision-Language-Action Model: 第一個在 970k 次機器人示範上訓練的開放原始碼 7B VLA 模型,比封閉的 55B RT-2-X 高出 16.5%,同時小了 7 倍,且可在消費級 GPU 上微調。
  • Configuration Space Distance Fields for Manipulation Planning: 直接在關節角上定義距離場,讓全身 IK 變成一步梯度投影,並使規劃器在 7-DoF Franka 上避開 SDF 造成的局部極小值。
  • Octo: An Open-Source Generalist Robot Policy: 第一個在 800k 條軌跡上訓練的開放原始碼通用機器人策略,支援語言與目標影像條件,涵蓋 9 個平台,並可在消費級 GPU 上高效微調。
  • Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation: 壓電接觸式麥克風把觸覺轉成聲音,因此在 AudioSet 影片上預訓練的編碼器能轉移到操作任務,並在三個真實任務上勝過只用視覺與從頭訓練聲音的策略。
  • Evaluating Real-World Robot Manipulation Policies in Simulation: SIMPLER:Google Robot 與 WidowX/BridgeData V2 設置的開源模擬版本,其策略排名與真實結果相符(Pick Coke Can 上 MMRV 0.031、r 0.976)。
  • ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection: 將雙手運動建模為一個 1-DoF 螺旋關節,從一段人類 RGB-D 影片中擷取出來,並在 Tiago++ 上藉由在螺旋空間中搜尋加以改進;六項任務共 18 次試驗中有 16 次成功。
  • Under Pressure: Learning-Based Analog Gauge Reading in the Wild: 一個不需儀表類型或量程的逐步儀表讀數器:OCR 讀出刻度時相對誤差約 1%,在 Howells 等人的資料上平均為 2.01%;OCR 是主要的失效點。
  • DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset: DROID 是一個開源的機器人操作資料集,包含橫跨 564 個場景與 84 項任務的 76K 個示範,由全球 13 個機構的 50 人在標準化的 Franka 硬體上蒐集,使策略表現提升約 20%。
  • 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations: 一種以 3D 點雲為基礎的擴散策略,能在視角、物件與空間配置之間泛化,只用 40 個示範就在真實世界達到 85% 的成功率。
  • CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting: 以繪畫機器人的模擬筆觸微調文字轉影像模型,讓它學會機器人能畫出什麼,以及如何延續人類的作品,將語意層面的模擬到現實差距從 0.241 降到 0.035。
  • Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots: 我們提出 Universal Manipulation Interface(UMI),一個資料蒐集與策略學習框架,能將野外環境中的人類示範直接轉移成可部署的機器人策略。UMI 採用手持式夾爪搭配仔細的介面設計,能為具挑戰性的雙臂與動態操作示範進行可攜、低成本且資訊豐富的資料蒐集。為了促進可部署的策略學習,UMI 納入一個經過仔細設計的策略介面,具備推論時的延遲匹配與相對軌跡動作表示。由此學到的策略與硬體無關,可部署在多個機器人平台上。具備這些特性的 UMI 框架解鎖了新的機器人操作能力,只要改變每項任務的訓練資料,就能實現可零樣本泛化的動態、雙臂、精確與長時域行為。我們以完整的真實世界實驗展示…
  • Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality: 一個混合實境框架:HoloLens 2 使用者與四旋翼機合併各自的地圖,使用者以手勢力引導無人機,並由 RRT* 規劃與障礙物排斥確保安全。
  • Sim-to-Real of Soft Robots With Learned Residual Physics: 以稀疏的動作捕捉標記點,在可微分 FEM 軟性機器人模擬上學習一個殘差體積力;標記點誤差比系統識別低 60.3%(樑)與 31.9%(氣動手臂)。
  • Workspace Optimization Techniques to Improve Prediction of Human Motion During Human-Robot Collaboration: 理解人類的意圖,對安全且有效的人機協作至關重要。雖然最先進的人類目標預測方法利用學習模型來處理人類動作資料的不確定性,但這些資料本質上是隨機且高變異的,阻礙了這些模型在需要協調的互動中的效用,包括安全關鍵或近距離的任務。我們的關鍵洞見是,機器人隊友可以在互動之前刻意配置共用的工作範圍,以降低人類動作的變異,從而在目標預測上達成與分類器無關的改善。在這項研究中,我們提出一種演算法方法,讓機器人在人機共用的工作範圍中擺放實體物體,並以擴增實境投射「虛擬障礙物」,針對給定的一組任務最佳化人類的可讀性(legibility)。我們透過兩項人類受試者研究,將我們的方法與其他工作範圍配置策略比較,一項在虛…
  • Integrating Flow Theory and Adaptive Robot Roles: A Conceptual Model of Dynamic Robot Role Adaptation for the Enhanced Flow Experience in Long-term Multi-person Human-Robot Interactions: 將群體機器人的調適目標設定為使用者的心流體驗,也就是挑戰與技能之間的平衡,並透過讓機器人的支援角色在領導者與跟隨者之間轉換來達成。
  • Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation: 低成本的移動式雙臂遠端操作系統,只用 50 次示範並與靜態 ALOHA 資料共同訓練,就在複雜家務任務上使成功率最多提升 90%。
  • Foundation models in robotics: Applications, challenges, and the future: 關於基礎模型在機器人領域應用的綜述,依決策與控制、感知與具身 AI 分類,最後列出從資料稀少到安全與即時使用的八項開放挑戰。
  • SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention: SARA-RT 對已訓練好的機器人 Transformer 策略進行「升級訓練」,讓它改用線性注意力。一個 5B 的 RT-2 模型在 TPU 上快了 14%,真實機器人上的準確率相近;點雲抓取策略在任何點雲規模下都維持約 100 ms 的推論時間。
  • Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans: HOPMan 利用網路影片,從場景影像與目標影像預測未來的手部與物體遮罩,再將此計畫轉譯為 Franka Panda 的動作,以零樣本方式涵蓋 16 種技能與 40 種物體。
  • NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System: NGEL-SLAM 將 ORB-SLAM3 的追蹤與迴圈閉合,搭配多個以八元樹為基礎的神經子地圖,讓稠密地圖在迴圈閉合後能迅速重新對齊,而不必重新訓練。
  • Eureka: Human-Level Reward Design via Coding Large Language Models: 大型語言模型(LLM)作為序列決策任務的高階語意規劃器表現出色。然而,如何運用它們來學習複雜的低階操作任務,例如靈巧的轉筆,仍是一個未解的問題。我們填補了這個根本落差,提出 Eureka,一個由 LLM 驅動、達到人類水準的獎勵設計演算法。Eureka 利用 GPT-4 等最先進 LLM 卓越的零樣本生成、撰寫程式碼與情境內改進能力,對獎勵程式碼進行演化最佳化。產生的獎勵接著可用於透過強化學習習得複雜技能。在沒有任何針對特定任務的提示或預先定義獎勵模板的情況下,Eureka 產生的獎勵函數勝過專家人工設計的獎勵。在包含 10 種不同機器人形態、共 29 個開放原始碼 RL…
  • Do We Run Large-Scale Multi-Robot Systems on the Edge? More Evidence for Two-Phase Performance in System Size Scaling: 對三個多機器人系統的模擬顯示,在臨界群體規模時,效能會分化成接近最佳與接近零的兩類執行結果;一個族群模型將此現象連結到分岔與漫長的暫態。
  • Open X-Embodiment: Robotic Learning Datasets and RT-X Models: 把 60 個機器人資料集(1M+ 條軌跡、22 種機器人、21 個機構)彙整成單一格式。以此訓練的 RT-X 模型展現正向遷移:RT-1-X 在小資料任務上好 50%,RT-2-X 在湧現技能上好約 3 倍。
  • Universal Visual Decomposer: Long-Horizon Manipulation Made Easy: UVD 在示範影片中找出預先訓練視覺嵌入距離不再下降之處作為子目標,再將其用於目標條件模仿學習與獎勵塑形。
  • NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration: 單一個擴散策略搭配可選、可遮罩的目標影像,同時處理探索與抵達目標;在 LoCoBot 上,它以約小 15× 的模型勝過影像子目標擴散方法。
  • Exoskeleton-Mediated Physical Human-Human Interaction for a Sit-to-Stand Rehabilitation Task: 以虛擬彈簧阻尼器耦合兩具 X2 下肢外骨骼,讓治療師與病人共同進行從坐到站的任務,並以基於 QP 的全身控制加入輔助與平衡限制。
  • PV-OSIMr: A Lowest Order Complexity Algorithm for Computing the Delassus Matrix: 重新安排 PV-OSIM 的計算順序,讓傳播的約束永遠不超過六個維度,從而以 O(n + m²) 計算 Delassus 矩陣,作者證明這在漸近上是最佳的。
  • Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks: 以粒子為基礎的 GNN 在行為基元的關鍵姿態處預測物體運動;對照單次示範中的 3-4 個關鍵影格搜尋基元參數,讓手臂能把物體放進雜亂的貨架。
  • Learning Vision-Based Bipedal Locomotion for Challenging Terrain: 一個在模擬中訓練的 RL 策略,加上一個從深度影像預測高度圖的預測器,讓 Cassie 雙足機器人不需全域里程計或真實世界微調,就能越過方塊、樓梯與 0.5 m 的高階。
  • Swashplateless-elevon Actuation for a Dual-rotor Tail-sitter VTOL UAV: 俯仰控制從升降副翼移到由馬達轉速調變驅動的被動式無斜盤旋翼槳轂:一架 2.25 kg 的雙旋翼尾座式飛行器在起飛、追蹤與抗風上表現更好,且未增加致動器
  • Constrained Bimanual Planning with Analytic Inverse Kinematics: 透過解析 IK 將一支手臂的關節加上另一支手臂的冗餘角參數化,把雙手抓持約束轉成一個可讓 RRT、PRM、軌跡最佳化與 GCS 在其中規劃的空間。
  • Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping: 建構場景的 LERF,以 DINO 特徵為指定的物體產生遮罩,只在遮罩內查詢部件名稱,並為 GraspNet 的抓取重新排序,讓機器人抓住指定的部件。
  • Robot Parkour Learning: 兩階段 RL(先是可穿透的障礙物,再是真實碰撞)訓練五種跑酷技能;DAgger 將它們蒸餾為一個深度影像策略,在低成本的 Unitree A1 與 Go1 機器人上以機載方式執行。
  • LONER: LiDAR Only Neural Representations for Real-Time SLAM: 只用 LiDAR、以神經隱式地圖進行的即時 SLAM:ICP 追蹤、在關鍵影格上聯合最佳化姿態與地圖,並以基於 JS 散度的動態邊界損失,讓線上學習更快、更銳利。
  • RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control: 將動作表示為文字 token,以機器人資料對視覺語言模型進行共同微調,讓機器人控制能湧現語意推理並轉移網路知識。
  • Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation: F3RM 將 2D 的 CLIP 或 DINO 特徵蒸餾到 3D NeRF 特徵場中,讓機器人能從每個任務兩次示範推論 6-DOF 抓取與放置,並拿起以自由文字指定的物體。
  • VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models: LLM 撰寫 Python 程式,根據視覺語言偵測結果填入 3D 可供性與迴避體素地圖;規劃器再把它們轉成閉迴路 6-DoF 軌跡,無需額外訓練。
  • Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners: KnowNo 將 LLM 規劃轉為選擇題並套用共形預測,讓機器人只在保留下來的選項超過一個時才求助,並達到使用者設定的成功水準。
  • RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools: RoboCook 以每種工具 20 分鐘真實資料訓練的 GNN 建模麵團與工具的交互作用,用 PointNet++ 分類器挑選工具,並使用 15 種可替換的工具包餃子。
  • Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation: 一個輸出 6D 旋轉的 LSTM,搭配兩步驟校正與 Monte Carlo dropout,把一支智慧手錶變成手臂追蹤器與語音驅動的機器人介面,誤差比先前研究低~40%。
  • Autonomous Drifting with 3 Minutes of Data via Learned Tire Models: 強制滿足 S 形力曲線與摩擦極限的 Neural ODE 與 ExpTanh 輪胎模型,在甩尾 NMPC 中取代 Fiala 刷子模型,在實車上將橫向追蹤誤差降低超過 4×。
  • LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning: LIBERO 是一個模擬基準,包含 130 個以語言為條件的操作任務與人類示範,用來研究機器人如何在任務之間遷移陳述性與程序性知識。
  • H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation: 將粗略的 SDF 存放在八元樹中,再加上以雜湊編碼的殘差,讓 NeRF 風格的 RGB-D 建圖能在 Jetson Orin 板上機載執行,用於手持裝置與四旋翼。
  • MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback: 兩支手臂讓抓持的物體互相輕觸數次;依據接觸、力與跨動作一致性評分的粒子濾波器,能將兩個手中姿態還原到約 0.5 cm。
  • Time Optimal Ergodic Search: 在遍歷度量上限 γ 的約束下最小化搜尋時間:一個參數決定涵蓋的徹底程度,由最佳化器挑選軌跡的時長。
  • Non-Euclidean Motion Planning with Graphs of Geodesically-Convex Sets: 把會環繞的關節空間(移動底座、連續關節)視為平坦流形,讓 GCS 最短路徑規劃器仍能給出全域最佳且無碰撞的路徑。
  • A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments: 放在以物理為基礎的混合模型中、經初始化的 LSTM,以積分位置損失訓練,能即時預測越野車輛 5 s 的軌跡,用於 GPU MPPI 控制。
  • Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware: 精細操作任務,例如穿束線帶或插入電池,對機器人來說是出了名的困難,因為它們需要精度、謹慎協調接觸力,以及閉迴路的視覺回饋。執行這些任務通常需要高階機器人、精確的感測器或仔細的校正,既昂貴又難以設置。學習能否讓低成本、不精確的硬體也能執行這些精細操作任務?我們提出一套低成本系統,直接從以自製遠端操作介面收集的真實示範進行端到端模仿學習。然而,模仿學習本身也有挑戰,尤其在高精度的領域:策略的誤差會隨時間累積,而人類示範可能是非平穩的。為了應對這些挑戰,我們開發了一個簡單但新穎的演算法 Action Chunking with Transformers(ACT),在動作序列上學習生成模型。ACT…
  • Diffusion Policy: Visuomotor Policy Learning via Action Diffusion: 本文提出 Diffusion Policy,一種生成機器人行為的新方式:將機器人的視覺運動策略表示為條件式去噪擴散過程。我們在 4 個不同的機器人操作基準測試、共 12 項不同任務上評測 Diffusion Policy,發現它持續勝過現有最先進的機器人學習方法,平均提升 46.9%。Diffusion Policy 學習動作分布分數函數的梯度,並在推論時透過一系列隨機 Langevin…
  • Open-Vocabulary Affordance Detection in 3D Point Clouds: 把逐點的 PointNet++ 特徵與凍結的 CLIP 文字嵌入相比對,讓機器人能用任何可供性詞語查詢點雲,包括訓練中沒有出現過的詞語。
  • Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations: FISH 在一個固定的開迴路或最近鄰基礎策略上加入一個學習而得的殘差,以與 1–3 個示範的最佳傳輸匹配作為獎勵,並在 ≤20 分鐘內適應沒見過的物體位置。
  • Language-Driven Representation Learning for Robotics: Voltron 在 Something-Something-v2 上結合以語言為條件的遮罩重建與字幕生成,在一套新的、包含五個問題的機器人評估套件上,勝過資料量相同的 MVP 與 R3M。
  • MimicPlay: Long-Horizon Imitation Learning by Watching Human Play: MimicPlay 從 10 分鐘的人手自由操作影片學習一個潛在規劃器,並從少量遠端操作示範學習一個由規劃引導的 transformer 控制器,提高了 Franka 機械手臂上的長時程任務成功率。
  • GenAug: Retargeting behaviors to unseen situations via Generative Augmentation: GenAug 使用以深度引導的文字到影像擴散模型,在少量真實示範中重新繪製物體、干擾物與背景,讓 CLIPort 抓取放置策略能在沒見過的場景中運作。
  • Learning Universal Policies via Text-Guided Video Generation: 第一篇以影片擴散模型作為機器人策略的論文:根據文字目標生成期望的未來影片,再透過逆動力學擷取動作。
  • RAMP: Reaction-Aware Motion Planning of Multi-Legged Robots for Locomotion in Microgravity: 一種針對微重力下帶夾爪足式機器人的運動規劃器,藉由形塑擺動腿軌跡並移動機身來吸收擺動動量,減少會使夾爪脫離的反作用。
  • MRI-powered Magnetic Miniature Capsule Robot with HIFU-controlled On-demand Drug Delivery: MRI 掃描儀既為一顆 5 mm 磁性膠囊造影,也牽引它移動;一個氣泡堵住其藥物孔,直到 MRI 導引的聚焦超音波將其移除,而聲壓決定釋放速率。
  • PaLM-E: An Embodied Multimodal Language Model: 大型語言模型擅長各式各樣的複雜任務。然而,要在真實世界中實現通用推論,例如處理機器人問題,就會遇到落地(grounding)的挑戰。我們提出具身語言模型,將真實世界的連續感測器模態直接納入語言模型,藉此建立文字與感知之間的連結。具身語言模型的輸入是多模態句子,其中交錯排列視覺、連續狀態估計與文字的輸入編碼。我們將這些編碼與一個預訓練的大型語言模型一起進行端對端訓練,用於多項具身任務,包括序列式機器人操作規劃、視覺問答與影像描述。我們的評估顯示,PaLM-E…
  • VIMA: General Robot Manipulation with Multimodal Prompts: 把操作任務表述為文字與影像交錯的提示,新增 VIMA-Bench 基準測試,並提出一個以物件 token 與交叉注意力為基礎的代理人,泛化能力優於 Gato 式的設計。
  • Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning: LIRF 訓練第二個策略,讓它對任務結果動手(拉門、戳塔、扭閥門)以分辨成功與失敗,並把它的判定當作任務策略的獎勵。
  • RT-1: Robotics Transformer for Real-World Control at Scale: 透過從大型、多樣、與任務無關的資料集轉移知識,現代機器學習模型能以零樣本方式或使用小型的特定任務資料集,將特定的下游任務解決到很高的水準。雖然這種能力已在電腦視覺、自然語言處理或語音辨識等其他領域獲得證明,在機器人學中卻仍有待證明;由於蒐集真實世界機器人資料很困難,模型的泛化能力在機器人學中尤其關鍵。我們認為,這類通用機器人模型成功的關鍵之一,在於開放式、與任務無關的訓練,並結合能吸收所有多樣機器人資料的高容量架構。在本文中,我們提出一類稱為 Robotics Transformer…
  • LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models: GPT-3 搭配檢索到的範例與以物體為依據的重新規劃,只用 100 個標註範例就為 ALFRED 寫出高階規劃,接近以 21,023 個範例訓練的 HLSM。
  • Autonomous Assessment of Demonstration Sufficiency via Bayesian Inverse Reinforcement Learning: 我們探討判定示範充分性的問題:機器人要如何自我評估,它是否已從專家那裡獲得足夠的示範,足以確保達到期望的效能水準?為了解決這個問題,我們提出一種以貝氏逆強化學習與風險值(value-at-risk)為基礎的新型自我評估方法,讓從示範中學習(「LfD」)的機器人能計算其效能的高信賴度界限,並用這些界限判定何時已擁有足夠數量的示範。我們提出並評估兩種充分性的定義:(1)正規化期望值差,衡量相對於人類未被觀測之獎勵函數的遺憾;以及(2)相對於基準策略的百分比改善。我們展示如何為這兩項指標建立高信賴度界限。我們在模擬中針對離散與連續狀態空間的領域評估我們的方法,並說明開發一套能準確評估示範充分性之機器…
  • Legged Locomotion in Challenging Terrains using Egocentric Vision: 先在低成本的地形取樣上進行 RL,再蒸餾到深度輸入,為 A1 四足機器人得到一個從深度到關節角度的策略,能爬樓梯和路緣,並跨越間隙與踏腳石。
  • Distributed Data-Driven Predictive Control for Multi-Agent Collaborative Legged Locomotion: 一個以 Hankel 矩陣表示、球關節耦合的四足機器人模型,由模擬資料建立並拆成每台機器人各自的 QP,為 5 台模擬 A1 與 3 台真實 A1 規劃力與 COM 路徑。
  • PCBot: a Minimalist Robot Designed for Swarm Applications: PCBot 以 PCB 走線構成的線圈切換磁鐵,從而在軌道式振動台上移動:五個零件、18 g、組裝不到 20 s,每次 70 mAh 充電約可行進 66 m。
  • NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields: 以一段 5-6 分鐘手機影片訓練的 NeRF,為 MuJoCo 模擬提供視覺畫面與碰撞網格;在其中訓練、只靠 RGB 的人形機器人策略可零樣本轉移到真實機器人。
  • DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation: 一個在 5355 個物體上含 1.32M 個抓取的 ShadowHand 資料集,以更快的力封閉最佳化器建構並在 Isaac Gym 中檢驗;在其上訓練的抓取模型勝過在 DDGdata 上訓練的模型。
  • FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment: 一個機器人畫家:在由自身真實筆觸建構的可微分模擬器中規劃筆觸,再依相機影像重新規劃,以達成文字、影像或草圖目標。
  • Robust, High-Rate Trajectory Tracking on Insect-Scale Soft-Actuated Aerial Robots with Deep-Learned Tube MPC: 一個經訓練模仿穩健管 MPC 的兩層神經網路,與自適應姿態控制器串接,以 2 kHz 控制一架 0.7 g 的軟性致動 MAV 飛行,位置 RMSE 低於 1.8 cm。
  • Code as Policies: Language Model Programs for Embodied Control: 以程式碼補全訓練的大型語言模型(LLM)已被證明能根據 docstring 合成簡單的 Python 程式。我們發現,這些會寫程式的 LLM 可以被重新用來在給定自然語言指令時撰寫機器人策略程式碼。具體而言,策略程式碼可以表達處理感知輸出、並為控制基元 API 設定參數的函式或回饋迴路。當輸入中提供數個範例語言指令及其對應的策略程式碼時,LLM 能接收新的指令,並自主重新組合 API 呼叫,以產生新的策略程式碼。透過串接經典的邏輯結構並引用第三方函式庫來進行算術運算,以這種方式使用的 LLM 能撰寫出展現空間幾何推理、能泛化到新指令,並能依情境為模糊描述指定精確數值的機器人策略。
  • Robust Locomotion on Legged Robots through Planning on Motion Primitive Graphs: 把每個控制器建模為一個具有安全吸引區域的運動基元,讓一種 RRT 式的搜尋能在 A1 四足機器人上線上找出恢復序列,耗時不到 50 ms。
  • PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations: 一個以預測資訊訓練的 128 維深度與本體感覺編碼器,加上一個以 ARS 訓練的小型策略頭:在真實踏腳石上成功率為 100%,ARS 則為 40%。
  • DayDreamer: World Models for Physical Robot Learning: 以世界模型為基礎的強化學習透過在想像中訓練策略,直接在實體機器人上學習:不需要模擬器,4 台不同的機器人使用相同的超參數。
  • Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models: 將接觸動力學平滑化,不論是像 RL 一樣透過取樣,或是用對數障壁函數解析地進行,都能得到有用的梯度;搭配凸的準動態模型,RRT 就能在約一分鐘內規劃靈巧操作任務。
  • Behavior Transformers: Cloning k modes with one stone: 一個透過動作離散化與偏移校正來處理多峰示範資料的 Transformer,能從未標註的資料集中複製多樣的行為。
  • Power-based Safety Layer for Aerial Vehicles in Physical Interaction using Lyapunov Exponents: 追蹤控制誤差發散的快慢,讓傾轉旋翼無人機在誤差縮小時允許功率、在誤差變大時耗散功率,因此當被推動的推車被拉開時,它能安全地停下。
  • AK: Attentive Kernel for Information Gathering: 一種非平穩 GP 核函數,混合固定的長度尺度,並遮蔽跨越劇烈變化處的相關性,讓地圖的不確定性跟著真實誤差走,機器人就會到重要的地方取樣。
  • FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects: 一個網路預測鉸接物體上每個點會如何移動;機器人抓住移動量最大的點並順著它移動,在完全沒有真實訓練資料的情況下,達到 64% 的真實世界成功率。
  • TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models: 一個 5 小時、630 條軌跡的越野資料集,來自配備七種模態的改裝 Yamaha Viking ATV,並附有潛在動力學模型基準;外部感知輸入在崎嶇地形上幫助最大。
  • ARChemist: Autonomous Robotic Chemistry System Architecture: ARChemist 透過 ROS 與 YAML 配方,將 KUKA KMR 移動式機器手臂、Franka Panda 機器手臂與標準實驗室儀器連結起來;溶解度篩選 10 次執行中成功 9 次,結晶 5 次中成功率 80%。
  • Interactive Object Segmentation in 3D Point Clouds: 使用者直接在 3D 點雲中點選正點與負點;一個只在 ScanNet 上訓練的稀疏體素網路據此修飾物體遮罩,並能轉移到其他室內與室外資料集。
  • Parameterized Differential Dynamic Programming: PDDP 在 DDP 中加入非時變參數,讓控制量與參數獲得聯合的二階更新,用於 MPC 中的線上模型識別,以及決定飛行模式切換的時機。
  • Do As I Can, Not As I Say: Grounding Language in Robotic Affordances: SayCan 將 LLM 與學習而得的機器人可供性(價值函數)結合,讓 LLM 提供以實體可行性為根據的高階任務知識,使真實的移動操作機器人能遵循長時域自然語言指令。
  • Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions: 從 4.5 s 德國牧羊犬動作擷取中以對抗方式學得的風格獎勵,取代了人工設計的獎勵,並轉移到真實的 A1 四足機器人上,運輸成本更低。
  • R3M: A Universal Visual Representation for Robot Manipulation: R3M 在 Ego4D 影片與其說明文字上預訓練一個凍結的 ResNet 編碼器;以它為基礎的行為複製,在 12 個模擬任務中以及在一台真實 Franka 上以 20 次示範,勝過 CLIP、MoCo 與 ImageNet 特徵。
  • Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions: 博物館導覽機器人 Lindsey 以 UCBVI 線上調整導覽,用相機估計的訪客投入程度作為獎勵,讓參觀展品數增加 22.8%,完成率提高約 30%。
  • A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation: 一個針對圓盤形粒子機器人的 2D Pymunk/Gym 模擬器,含導航與推物任務;DQN、A2C 與 PPO 能讓機器人群移動,但遠不及手工設計的波動策略。
  • Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method: OPA 先在合成的趨近與避開路徑上預訓練一個圖網路策略,再只更新每個物體的小型偏好特徵來適應一次人類修正,耗時不到 0.5 s。
  • Instance Segmentation for Autonomous Log Grasping in Forestry Operations: 一個新的附遮罩原木資料集顯示,像素層級的 Transformer 分割雜亂、彎曲原木的效果遠勝框候選網路,這是邁向自主集材機的第一步感知工作。
  • ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints: ViKiNG 將一個以影像為基礎的局部控制器,與一個由衛星影像或道路圖引導的類 A* 搜尋結合,以長度不到 80 m 的行駛資料訓練後,能抵達一公里以外的目標。
  • Do Differentiable Simulators Give Better Policy Gradients?: 在接觸、剛性與混沌之下,精確的模擬器梯度可能有偏或具高變異數;α 階估計器在一個準確度界限下,將它們與取樣梯度混合。
  • You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration: 只在模擬中訓練的標準形狀空間把一段示範影片對應到新物體上;帶追蹤的閉迴路複製在電池立起上達到 100%,在 0.5 mm 齒輪插入上達到 82.9%。
  • A Generalist Agent: Gato 把文字、影像、本體感知與動作轉成同一個 token 序列,並在 604 項任務上訓練單一個 12 億參數的 Transformer,其中包括用真實的 Sawyer 機器手臂堆疊積木。
  • Omni-Roach: A legged robot capable of traversing multiple types of large obstacles and self-righting: 一台小型 RHex 式機器人結合圓潤外殼、翅膀與主動尾巴,運用從蟑螂學來的策略穿過柱子、凸塊、溝縫與類似草叢的梁,並能自行翻正。
  • A System for General In-Hand Object Re-Orientation: 結合教師-學生蒸餾、抬起姿態初始化與重力課程的無模型 RL,在模擬的 Shadow Hand 中重新定向 2000 多個物體,掌心朝上或朝下皆可,不需形狀輸入。
  • Probabilistic Inference in Planning for Partially Observable Long Horizon Problems: SHY-COBRA 在以帶雜訊信念為初值的約束圖上進行信念傳播,將符號計畫中的抓取、位姿與軌跡具體化,然後執行、觀察並重新規劃。
  • Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks: 一個強化學習(RL)代理人在手工撰寫的到達、抓取、推動與釋放基元或原始馬達動作之間做選擇,並設定其參數,藉此減輕長時程操作中的探索負擔。
  • Real-time Optimal Landing Control of the MIT Mini Cheetah: 一種著陸控制器在四足機器人墜落期間反覆求解接觸隱式軌跡最佳化,以神經網路熱啟動,並在觸地時以全身控制追蹤該軌跡。
  • Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation: 辨識機器人先前處理過的物體並重複使用其部分 TSDF 模型:成功率從 85% 升到 98%,所需的換手與重新掃描也更少。
  • CT-ICP: Real-time Elastic LiDAR Odometry with Loop Closure: 每次掃描帶有起始姿態與結束姿態、並允許掃描之間跳變的掃描對地圖 ICP,加上以高程影像為基礎的迴圈閉合;在 KITTI 排行榜上 RTE 為 0.59%,每次掃描 60 ms。
  • AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning: 一個 RL 代理人在未知的室內場景中移動與轉動攝影機,直到學得的美學模型給予畫面高分,然後拍照;在 Habitat 中訓練,在 Jackal UGV 上執行。
  • SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving: 航空影像道路測繪,未涉及機器人:在三個尺度上對空間交互空間與投影交互空間進行圖推理,可連接被遮擋的路段,並在兩個基準上將 APLS 連通性提高約 1 個百分點。
  • OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication: 開放的模擬 V2V 感知資料集(8 個 CARLA 城鎮加上一個數位化的 Culver City)、一個由 4 種 LiDAR 偵測器 × 4 種融合模式組成的基準,以及在 4096× 壓縮下仍維持 AP 的注意力特徵融合。
  • SORNet: Spatial Object-Centric Representations for Sequential Manipulation: SORNet 在給定物體的一個標準視圖後,為 RGB 影像中的每個物體產生嵌入;小型讀出 MLP 把這些嵌入轉換成未見過物體的技能前置條件與 3D 方向。
  • Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning: Isaac Gym 透過 PyTorch 張量 API,在一張 GPU 上執行 PhysX 模擬、觀測、獎勵與 PPO 訓練;Shadow Hand 的立方體重新定向從 CPU 叢集上的 30 h 縮短到不到 1 h。
  • What Matters in Learning from Offline Human Demonstrations for Robot Manipulation: 在 5 個模擬與 3 個真實操作任務上測試六種離線學習演算法:依賴歷史的 BC-RNN 從人類示範中學得最好,而批次 RL 在人類資料上表現吃力。
  • Learning to Share Autonomy across Repeated Interaction: 不需預先定義目標清單的共享自主:機器人從重複的遠端操作中學習任務、從搖桿輸入辨識任務、模仿過去的執行,並在沒有把握時交還控制權。
  • Optimization-Based Quadrupedal Hybrid Wheeled-Legged Locomotion: 離線軌跡最佳化,以單剛體動力學加上每個可轉向輪一個單輪車模型,為 CENTAURO 機器人規劃輪式行駛、步行與混合步態。
  • Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA: 只將卷積自編碼器的編碼器二值化,讓一個用於人形機器人的端到端摺布模型能在 Zynq FPGA 上以 41.1 FPS、3.1 W 執行,精度損失很小。
  • XIRL: Cross-embodiment Inverse Reinforcement Learning: 從不同具身形態的示範者影片中學得的時間循環一致性嵌入,提供一個目標距離獎勵,用來在未見過的具身形態上訓練 RL 策略。
  • StRETcH: A Soft to Resistive Elastic Tactile Hand: 由平行夾爪拉伸、由深度攝影機成像的 EcoFlex 薄膜,構成一種剛性可調的軟性觸覺末端執行器,用於感測與塑形可變形物體。
  • FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding: 一台雙臂機器人以自監督方式學習該在揉皺布料的哪裡抓取,以執行固定的抓取—拉伸—甩動動作,在覆蓋率與步數上勝過準靜態的取放(pick & place)。
  • Pylot: A Modular Platform for Exploring Latency-Accuracy Tradeoffs in Autonomous Vehicles: 建立在資料流執行環境上的模組化、確定性 AV 管線:替換偵測器、追蹤器、預測器或規劃器,觀察其執行時間如何影響 CARLA 或真實汽車中的端到端駕駛。
  • Robowflex: Robot Motion Planning with MoveIt Made Easy: Robowflex 直接在 C++ 程式內載入 MoveIt 的機器人、場景與規劃器,而非透過 ROS 訊息,讓規劃器開發、基準測試以及任務與運動規劃都能以腳本完成。
  • Learning When to Quit: Meta-Reasoning for Motion Planning: 從過去的規劃器執行中學習何時停止隨時運動規劃器(RRT、PRM、Lazy PRM*),使路徑品質與規劃時間之間的取捨達到最大化。
  • kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation: 帶方向的 3D 關鍵點作為閉迴路控制器的狀態與動作,讓一個策略就能在形狀變化下處理 0.2 mm 插銷入孔、LEGO、USB 與擦拭任務。
  • Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration: 人在物理模擬的 VR 世界中完成廚房任務;線上監測器將其動作切分為伸手、抓取、搬運與放下事件,存入 KnowRob 供機器人查詢。
  • Reactive Human-To-Robot Handovers of Arbitrary Objects: 分割出手,抓取剩下的部分:一套以視覺為基礎的系統讓 Franka Panda 從人手中接過 26 種不同的家用物品,並在物體移動時重新規劃。
  • Multi-Resolution POMDP Planning for Multi-Object Search in 3D: 將 3D 多物體搜尋建模為 POMDP,並以多個八元樹解析度平行規劃的方式線上求解;在大型模擬空間中勝過不分層的基準方法,並在 Kinova MOVO 上執行。
  • SuMa++: Efficient LiDAR-based Semantic SLAM: SuMa++ 把 RangeNet++ 產生的逐點語意標籤加入以面元為基礎的 LiDAR SLAM,並用這些標籤把移動物體從地圖中移除,以及為 ICP 殘差加權。
  • Disentangled Relational Representations for Explaining and Learning from Demonstration: 一個搭配輔助標籤損失的 β-VAE 學習空間關係嵌入,將桌面示範轉換成符號規劃與 PR2 末端執行器姿態。
  • An Online Learning Approach to Model Predictive Control: 將 MPC 視為線上學習,得到 DMD-MPC:此演算法族包含 MPPI 與 CEM,把它們的步長公開為可調參數,並在 1:5 比例的 AutoRally 車上執行。
  • Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects: 一個只以領域隨機化與擬真合成影像混合訓練的關鍵點網路,估測出的 6-DoF 物體姿態足以供真實機器人抓取。
  • On Evaluation of Embodied Navigation Agents: 一份工作小組針對導航研究的建議報告,而非新方法:DONE 動作、測地距離、SPL 指標、採用 SI 單位的連續模擬器,以及在四個資料集上的標準情境。
  • Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation: 機器人以腕部 RGBD 相機掃描物體,從 3D 重建以自監督方式學習逐像素描述子,再於不同姿態、變形與個體間抓取使用者選定的點。
  • Deep Drone Racing: Learning Agile Flight in Dynamic Environments: CNN 將一張機上相機影像對應成目標方向與速度;由最小急動度規劃器與傳統控制器駕駛四旋翼,因此不需地圖或全域姿態,即可在有移動門的賽道上競速。
  • Joint 3D Proposal Generation and Object Detection from View Aggregation: 一種兩階段 3D 偵測器,在候選網路與偵測器中都融合光達(LIDAR)鳥瞰圖特徵與影像特徵,並迴歸一個明確的朝向向量,以消除 ±π 的方向誤差。
  • Grasp Pose Detection in Point Clouds: 在任何可見表面上取樣數千個 6-DOF 夾爪姿態,以小型 CNN 對局部點雲的多視角投影逐一評分,再依啟發式規則挑出一個:在密集雜亂中成功率為 93%。

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。