[Research] 突破顿悟黑盒：通过架构拓扑消除 Transformer 的泛化延迟

TL;DR

Grokking（顿悟）一直被认为是大模型学习算法任务时的一种奇特“迟到”现象：模型先经历漫长的过拟合（训练集 100%，测试集 0%），然后突然泛化。本文提出了一种全新的干预视角：Grokking 不是优化的问题，而是架构自由度太高的锅。 通过强制模型进入球面拓扑空间并简化注意力机制，作者成功将泛化速度提升了 20 倍，甚至实现了“零延迟泛化”。

痛点深挖：为什么 Transformer 喜欢先“死记硬背”？

在处理模加法（$Z_p$）这类具有循环对称性的任务时，标准的 Transformer 表现得像一个拥有无限存储空间的“死信差”。

1. 模长自由度（Magnitude Degree of Freedom）：标准残差流允许向量模长无限增长。模型倾向于利用巨大的模长在空间中强行划分极其复杂的边界来“死记硬背”每一个样本（即所谓的 Pizza 算法）。
2. 路由自由度（Routing Degree of Freedom）：复杂的词对词注意力（Query-Key 机制）对于本身符合交换律的加法来说是非必要的，它反而提供了记忆特定输入对（a, b）的温床。

作者的核心 Insight 是：如果你从物理上拆掉模型“死记硬背”的工具，它就不得不去学习那条唯一的通用算法道路（Fourier 特征）。

方法论详解：给模型穿上“几何紧身衣”

干预 A：球面残差流 (Spherical Residual Stream)

作者引入了一个投影算子 $\Pi$，在每个子层之后强制执行 L2 归一化。 ${\Pi }_S(x)=\frac{x}{\max (\Vert x{\Vert }_2,ϵ)}$ 这意味着信息不再能通过“向量有多长”来编码，只能通过“向量指向哪个角度”来编码。这种角度编码天然地与模运算的周期性（傅里叶变换）对齐。

干预 B：均匀注意力消融 (Uniform Attention)

既然模加法是可交换的（a+b = b+a），作者索性删掉了 QK 路由，将注意力权重固定为常数。这把 Transformer 降级为一个连续词袋模型（CBOW）。结果令人震惊：这种极度简化的模型在泛化性上反而远超全功能 Transformer。

实验与结果：从“玄学顿悟”到“确定性泛化”

1. 泛化速度的飞跃

在 $Z_{113}$ 模加法实验中，标准 LayerNorm 模型的顿悟点在 5 万代以后。而**全有界球面拓扑（Fully Bounded）**在 2100 代左右就锁定了胜局，速度提升超 20 倍，且训练过程极其平滑，没有出现常见的梯度尖峰（Slingshot Effect）。

2. 负控制实验：成也对称，败也对称

为了证明这不是某种万能的“加速技巧”，作者在非交换的 S5 对称群复合任务上测试了球面约束。结果是：全线崩溃。 球面约束模型由于维度被锁死在低维流形上，完全无法学会复杂的非交换群操作。这有力地证明了：架构偏置（Inductive Bias）必须与任务的内在数学对称性精确对齐，才能消除 Grokking。

深度洞察：可预测的架构调试

这项研究标志着**可解释性研究（Interpretability）**从“事后解剖”迈向了“事前设计”：

• 不仅仅是压缩：前人认为 Grokking 是权重的压缩过程，本文说明我们可以通过拓扑结构强制这种压缩在初始化阶段就发生。
• 告别权重衰减（Weight Decay）：在全有界拓扑下，即便不使用 WD，模型也能稳定泛化，这打破了“泛化必须依赖强正则化”的迷思。

总结 (Takeaway)

Grokking 的消除告诉我们：少即是多。对于特定领域的 AI（如科学计算、金融建模），我们不应盲目追求大而全的自由度，而应通过几何约束（Geometric Constraints）将模型软禁在真理的流形之上。

局限性与展望

虽然在合成任务上表现卓越，但在处理自然语言这类结构极其复杂的“脏数据”时，过强的几何约束可能会导致表征纠缠（Entanglement）。未来的方向在于如何设计“混合型”架构，既能保持捕捉复杂模式的灵活性，又能在关键推理路径上施加几何规约。