RelaxFlow：解锁文本驱动的非全貌 3D 生成，突破遮挡下的语义歧义

TL;DR

当一张图片里只露出半截木板，它可能是一张沙发背，也可能是一张床。现有的 3D 生成模型往往只能根据偏见“盲猜”出一种结果。RelaxFlow 改变了这一现状，它允许用户通过文字（如“一张沙发”）精准控制补全部分，同时保证露出来的半截木板一丁点都不走样。该方法即便在物体被遮挡 80% 的极端情况下，依然能生成高保真、语义契合的 3D 资产。

痛点深挖：遮挡是 3D 重建的“杀手”

在人类视觉中，我们拥有“非全貌感知（Amodal Perception）”能力——即便看到猫的尾巴躲在门后，我们也知道门后是一只完整的猫。但 AI 很难做到。

1. 观测过拟合（Observation Overfitting）：现有的 feedforward 模型（如 TRELLIS, SAM3D）在面对严重遮挡时，往往会产生结构崩坏或不符合逻辑的幻觉。
2. 控制粒度冲突：如果你强行用文本去引导生成，为了让隐藏部分像“沙发”，模型往往会把原本清晰的可见部分也变得模糊或扭曲。

这是因为“复原可见像素”和“想象隐藏结构”对特征控制的需求是不一样的：前者需要硬约束（Rigid Control），后者需要松弛控制（Relaxed Control）。

核心机制：RelaxFlow 的双分支哲学

RelaxFlow 的核心是一个**无需重训练（Training-free）**的双分支推理方案：

1. 语义先验的“低通滤波”

这是全书最精彩的理论贡献。作者通过数学证明发现，如果我们直接把文本先验塞进生成器，会引入大量高频的实例噪声。 通过在 Cross-attention 计算中引入 Logit Smoothing（对注意力矩阵应用高斯平滑），实际上是在生成的向量场上施加了一个低通滤波器。这就像是把照片打了一层淡淡的“结构磨皮”，去掉了不相关的纹理干扰，只保留了“这就是一张沙发”的全局几何骨架。

图 1：RelaxFlow 整体架构。观测分支保持细节，语义分支通过低通松弛提供结构。

2. 多先验共识（Multi-Prior Consensus）

为了让文本控制更精准，RelaxFlow 不只依赖一个视觉先验，而是同时输入多张符合提示词的图片。通过在 Transformer 中进行长序列注意力计算，模型会自动寻找这些图片中的“最大公约数”——比如多种红嘴鸟的共性是“红嘴”，而忽略掉它们各自不同的羽毛色块。

实验战绩：极端遮挡下的惊艳表现

研究团队引入了两个极具挑战性的 Benchmark：ExtremeOcc-3D（遮挡率 > 80%）和 AmbiSem-3D（语义歧义测试）。

• 性能飞跃：在 ExtremeOcc-3D 上，RelaxFlow 显著提升了补全质量，其 Point-FID (81.11) 远优于基线模型 SAM3D (100.38)。
• 语义分支控制：如图 2 所示，同样的输入，通过输入不同的 Text Prompt，RelaxFlow 可以成功将其引导生成为“床”或“沙发”，且可见部分的细节完全一致。

图 2：定性对比。在极端遮挡下，基线方法（如 TRELLIS）会产生漂移，而 RelaxFlow 完美遵循了文本指令。

深度洞察：为什么这种“松弛”是必须的？

从生成模型动力学（ODE Flow）的角度看，生成过程实际上是在高维空间中寻找一条通往目标分布的轨迹。

• 观测分支划定了一个非常窄的轨道（Corridor），要求轨迹必须经过特定的像素点。
• 语义分支如果太强，会形成一条互不兼容的轨道。
• RelaxFlow 的松弛机制通过平滑操作，“加宽”了语义轨道，使得原本冲突的两股力量能够协同工作，从而推导出既符合物理现实又符合用户意图的最佳 3D 形状。

总结与局限

RelaxFlow 证明了通过精细化的流程控制（Inference-time Engineering），我们可以榨取出预训练模型在非全貌感知上的巨大潜力。虽然当输入图像与文本指令存在根本性冲突（如：给一张猫的图却要求生成狗）时，模型依然会产生不自然的“融合体”，但在 AR/VR、机器人视觉等需要处理遮挡的现实场景中，这无疑是迈向通用 3D 感知的重要一步。