[IROS 2024] 统一学习时间结构与动作计时：迈向拟人化的双臂协作规划

TL;DR

在双臂协作任务中，机器人不仅要像“大脑”一样知道动作的先后顺序（符号层），还要像“肌肉”一样掌握每次动作的精确时长和同步偏差（非符号层）。本文提出了一种统一框架，能从人类演示中直接学习这两层约束，并自动生成既符合逻辑又具备人类节奏感的机器人执行计划。

1. 痛点：被割裂的“逻辑”与“节奏”

双臂操作（Bimanual Manipulation）的难点在于极高度的时间依赖性。例如，在倒水时，不仅需要知道“倒水”发生在“容器就位”之后，更需要知道：

1. 动作时长：倒水要持续 3 秒还是 5 秒？
2. 精确偏移：容器停稳后，另一只手需要等待多长时间（毫秒级）再倾斜？

以往的研究要么关注 符号层（Symbolic），利用 Allen 关系推理逻辑顺序，却不给出的具体时间戳；要么关注 微观同步（Subsymbolic），通过耦合运动原语（MPs）实现同步，却难以应对任务逻辑的变化或多种执行模式（Task Modes）。

2. 核心直觉：3D 计时空间与多变量建模

作者提出的关键创新之一是 3D 计时空间 (Timing Space)。

通常，两个动作的起止时间需要 4 个参数 $(a_a^{-},a_a^{+},a_b^{-},a_b^{+})$。但作者洞察到：绝对的时间点并不重要，重要的是相对关系。通过数学变换（Isomorphism），他们将其压缩为 3D 向量：$({\lambda }_a,{\lambda }_b,{\omega }_{ab})$，分别代表两个动作的长度和它们中点的偏移。

图 1：从关系评估、约束推断到时间规划的总体流程

为了捕获人类演示中的不确定性，作者使用了 多变量 Gaussian Mixture Models (GMMs)。相比于之前的单变量模型，多变量 GMM 能够捕捉动作长度与偏移量之间的相关性。例如，如果演示中某人移动物体的速度变快（长度减小），其同步偏移量可能也会相应变化。

图 2：3D 计时空间中的演示数据分布与 GMM 建模

3. 约束推断：基于 DPLL 的解空间搜索

演示数据往往是嘈杂甚至是互相矛盾的（不同人有不同的习惯）。如何找到一个既符合观察又在逻辑上自洽（Contradiction-free）的任务计划？

作者引入了 DPLL (Davis–Putnam–Logemann–Loveland) 算法。这原本是处理布尔满足性问题的利器，在此被用于处理 13 种 Allen 关系（Before, Overlaps, During 等）的分配。该算法能搜索所有可能的动作关系组合，剔除违反传递性（Transitivity）的错误解，并按相似度得分进行排序，从而提取出不同的 任务模式 (Task Modes)。

4. 实验结果：比基线更像“人”

团队在 Bimacs 和 BiManip 数据集上进行了广泛验证。

• 拟合优度：实验显示，该方法生成的参数化计划，其时间分布均值和方差比传统的“最具代表性演示（Baseline）”更接近整体人类样本的平均水平（见下图 7）。
• 复杂任务适应性：在“准备麦片”任务中，系统由于理解了跨子任务的时间约束，能够平滑地衔接拿起牛奶、倒入碗中、放回牛奶等一系列连贯动作。

图 7：参数化计划与演示数据间的欧氏距离对比（越低越好）

5. 总结与展望

这项工作的价值在于打通了“规划”与“控制”的最后一公里。它不仅告诉机器人“该做什么”，还精确指导了“节奏该怎么踩”。

局限性：

1. 计算复杂度：基于 DPLL 的搜索在动作数量极多时会面临组合爆炸，目前需依赖子任务拆解。
2. 动态响应：目前的计划是预先生成的（Assigned），未来若能与实时反馈产生的“突现同步（Emerging Synchronization）”结合，将能应对更多突发干扰。

对于未来的机器人主厨或工厂技工来说，这种对时间结构的深度理解，正是从“生硬搬运”进化到“行云流水”的关键。