[CVPR 2025] FlowMotion: 摆脱中间层束缚，基于流预测的超轻量视频运动迁移

TL;DR

传统的视频运动迁移（Video Motion Transfer）要么需要对每个视频进行耗时的微调（Training-based），要么在推理时需要疯狂压榨显存以反传深层特征（Training-free）。FlowMotion 另辟蹊径，它发现 Flow-based T2V 模型产生的“单步 clean 潜变量预测（Latent Prediction）”本身就是最纯净、最轻量级的运动描述符。通过直接在模型输出层进行对齐，我们在 H20 显卡上实现了仅需 19.3G 显存、213 秒即可完成的高保真运动迁移，性能全面超越现有 SOTA。

背景定位：从特征对齐到预测对齐

视频运动迁移的目标是将源视频的“运镜”或“动作”套用到新的文本描述和场景中。现有的无需训练方法（如 DiTFlow, SMM）本质上是在做特征匹配：它们提取 U-Net 或 DiT 内部的 Attention Map 进行约束。这种方式的致命缺点是：计算图太长。梯度必须穿过整个深层网络才能到达待优化的 Latent，导致显存直接爆表（OOM 常客）。

本文作者提出了一个深刻的洞见：为什么非要去模型内部找特征？在 Flow-matching 模型生成的早期阶段，模型给出的速度（Velocity）预测已经清晰地描绘了物体的运动轨迹和粗略轮廓。

痛点深挖：中间层的“重负”

现有方法在处理长视频或高分辨率视频时通常会面临：

1. 内存墙：梯度回传需要保留所有激活值。
2. 过度拟合：中间特征往往带有过多的源视频外观（Appearance）细节，导致生成的“老虎”长得像源视频里的“骆驼”。
3. 反演开销：许多方法依赖耗时的迭代反演（Inversion）来寻找源视频的初始噪声。

核心方法论：Flow Guidance & Velocity Regularization

1. Latent Prediction：运动的“快照”

作者定义了 ${\hat{z}}_0(t)=z_t-t\cdot v_t$，即基于当前位置 $z_t$ 和预测速度 $v_t$ 直接推测的 clean latent。

• 实验发现：在去噪的前 5-10 步，这个预测值虽然没有纹理，但物体的轨迹和肢体动作已经异常清晰。

2. 对齐机制

FlowMotion 采用了双重损失函数：

• Latent Alignment (LA)：直接对齐潜变量预测，确保全局运动一致性。
• Difference Alignment (DA)：计算帧间差异并对齐，强化时间轴上的动态细节，同时过滤静态外观噪声。

3. 速度正则化 (VR)

为了防止优化过程中 Latent 跑偏导致画面崩坏，作者将当前速度分解为：沿累积方向的“投影分量”和“正交分量”。通过衰减正交分量（Factor $\gamma =0.1$），强迫每一帧的更新都顺着已经形成的运动大趋势走，保证了生成的平滑度。

实验与结果：降维打击般的效率

在 Wan2.1 (1.3B) 上的定量实验结果显示，FlowMotion 不仅在显存和速度上是降维打击，在运动忠实度 (Motion Fidelity) 上也达到了 0.850（对比 DiTFlow 的 0.691）。

• 显存优势：由于优化目标直接对准 $v_t$ 的输出结果，在反传梯度时，$v_t$ 本身可以被视为常量，梯度直接修正 $z_t$，彻底跳过了内部网络的反向传播。
• 长视频支持：成功实测 81 帧超长迁移，显存增幅微乎其微（仅增加约 1G）。

深度洞察与总结

FlowMotion 的成功揭示了一个趋势：随着基础视频模型（Foundation Models）越来越强大，其输出层本身就已经具备了足够的“控制接口”。

局限性与展望

• 语义鸿沟：如果源视频是“鸟飞”，目标是“猴子”，模型有时会纠结于保持轨迹还是改变形态，产生“带翅膀的猴子”。
• 多主体难题：当视频中出现 3 个以上独立运动的主体时，全局 Latent 对齐会显得力不从心。
• 未来方向：作者建议引入 Mask-based 区域引导，实现对多个主体运动的精细化、差异化迁移。

总的来说，FlowMotion 是目前视频运动迁移领域最实用化的方案之一，它让“在笔记本显卡上跑视频迁移”成为了可能。