No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent
作者: Vito Mengers, Oliver Brock · ICRA 2025
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
沿着一个由相互连接的估计器组成的网络中最陡的梯度前进，无需规划器就能解决积木世界和真实的开抽屉任务，并能适应不确定性和干扰。
为何重要
该方法无需计算规划就能完成多步操作，而诸如移动相机以减少不确定性、重新找到丢失的把手以及重新抓取等行为，都是从梯度选择中产生的，而不是编程实现的。在抽屉实验中，当柜子被移动或把手被从手中拉出时，它仍能继续工作，而规划基线在这些情况下性能下降。
问题
规划器通过预测未来状态来安排子目标的顺序，但不确定性会在规划视界内累积，因此代价高昂的规划在动态或不确定的环境中常常变得不可行。短视的基于梯度的控制能快速适应反馈，但一直局限于连续的单步问题，因为子目标很难编码在一个覆盖所有任务和环境变化的势函数中。
提出的方法
作者把世界的规律性编码在 AICON 中，这是一个由递归估计器（组件）组成的网络，组件之间通过主动互连相连，其信息交换随系统状态而变化。一个可微的目标代价沿着通往执行信号的每条路径用链式法则展开，在每个时间步只沿这些梯度中最陡的一个前进，因此会改变某个互连状态的梯度就起到隐式子目标的作用。该模式被应用于积木世界，以及一个在 Panda 机械臂上进行的部分可观测开抽屉任务，该机械臂配有 RBO Hand 3、腕部力/扭矩传感器和手内 RGB 相机。
关键见解
- 子目标不必逐一列出：当一个主动互连处于稳定状态时，链式法则会产生一个试图改变该状态的梯度，这就起到隐式子目标的作用。
- 只沿最陡梯度前进可以避免梯度冲突；在消融实验中，改为对梯度求和会导致不稳定、抖动的行为，偶尔还会失败。
- 交互式感知（通过移动腕部相机对抽屉进行三角测量）和错误恢复从梯度下降中涌现，而没有被显式实现。
- 具有相互竞争的子目标、不可逆动作或需要暂时倒退的任务，例如汉诺塔，仍然需要规划。
主要结果
- 积木世界（10 到 30 块积木，0 到 15 座塔）：基本的梯度下降和带有主动互连目标的变体都解决了所有实例，包括需要至少 35 步的实例，步数接近最优移动次数。正文说生成了 100 多个实例；图 2 的说明则说是 130 个随机生成的问题。
- 拆塔问题以最优方式解决；堆叠问题由于子目标相互竞争而出现了额外的移动，通过把目标与当前状态互连，这些额外移动有所减少，但没有消除。
- 在不同的先验不确定性、附加传感器噪声以及轻度（柜子被移动）或重度（抽屉被从手中拉出）干扰下的真实开抽屉实验，每种场景 10 次运行：七十次试验中有 3 次失败，全部源于未建模的奇异位形和自碰撞。摘要统计的真实世界抽屉试验总数为一百次。
- 该方法优于使用预计算轨迹的状态空间规划器和带探索性动作的信念空间规划器；信念空间规划器能够处理不确定性，但难以应对大的干扰，而该方法的计算开销比 67 维的信念空间规划更低。
- 在三种初始构型和三种替代任务上的消融实验（每种设置 n = 5）：减少主动互连会导致性能急剧下降，在需要调整视角或抓取的任务中下降最多。
局限
- 相互竞争的子目标和缺乏前瞻会导致次优移动；要稳定地找到积木世界的捷径（直接在塔之间移动积木）需要规划（作者陈述）。
- 具有不可逆动作的任务（例如破坏物体），或需要暂时倒退的相互冲突的子目标（例如汉诺塔），仍然需要规划（作者陈述）。
- 所有三次真实世界抽屉失败都来自系统没有建模的效应：奇异位形和自碰撞。
- 每个任务都使用其专门指定的一组估计器、互连和目标代价；论文为积木世界和开抽屉各构建了一个这样的系统。
- 真实机器人评估只涵盖一类任务，即开抽屉，每种场景十次试验，每种消融设置五次。
对领域的影响
获得 IEEE ICRA 2025 规划与控制最佳论文奖，并入围 ICRA 2025 机器人学习最佳论文奖决选；被引用 10 次。论文链接了一个附有补充视频的项目页面，该页面链接了 AICON 代码仓库和教程。
摘要
我们提出一种新的基于梯度的方法来求解序列任务，它根据反馈和世界的规律性动态调整底层的短视势场。这种调整隐式地考虑了编码在这些规律性中的子目标，从而能够求解长序列任务，正如在传统规划领域积木世界（Blocks World）中所展示的那样——完全不需要任何规划。与传统规划方法不同，我们由反馈驱动的方法能够适应不确定和动态的环境，正如一百次涉及抽屉操作的真实世界试验所展示的那样。这些实验突出了我们的方法相较于规划的稳健性，并表明交互式感知和错误恢复如何在没有显式实现的情况下从梯度下降中自然涌现。这为多种序列任务提供了一种计算高效的规划替代方案，同时与关于生物问题求解策略的观察相一致。
链接
- arXiv 2503.01732: https://arxiv.org/abs/2503.01732
- DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
- PDF: https://arxiv.org/pdf/2503.01732v1
- 代码: https://github.com/tu-rbo/aicon
- 项目主页: https://www.tu.berlin/robotics/papers/noplan