[Theoretical Insights] ReLU 激活如何在高维空间“锁定”隐式偏置？

TL;DR

在机器学习领域，虽然模型有无数个能拟合数据的解，但梯度下降（GD）总倾向于找到那个泛化性能最好的解——这就是 Implicit Bias。本文针对浅层 ReLU 网络在平方损失下的回归任务，首次证明了在高维随机数据环境下，GD 的收敛解并非随机，而是极度接近数学上的最小 L2 范数解，两者误差仅为 $\Theta (\sqrt{n/d})$。

背景定位：该工作是对此前“最差情况不可表征”命题的有力反驳，同时也松弛了“严格正交数据”的理想化假设，是理解神经网络在现实动态下泛化逻辑的重要里程碑。

痛点深挖：非线性的混乱与高维度的秩序

为什么研究 ReLU 的 Implicit Bias 这么难？

1. 激活模式的波动：ReLU 的非线性（$max(0,x)$）会导致训练过程中哪些神经元是“活的”不断变化，使得动力学方程变得非凸且不连续。
2. 交互项的干扰：在普通维度下，样本之间的特征互相干扰（Gram 矩阵非对角），导致解的路径无法解析描述。

作者的 Insight 在于：高维性（High-dimensionality）是救星。当维度 $d$ 远大于样本数 $n$ 时，随机特征向量几乎是正交的。在这种“近正交”状态下，样本间的干扰被极度抑制，ReLU 的激活模式在极短时间内就会稳定下来。

核心机制：Primal-dual 动力学分析

作者放弃了在复杂的参数空间进行追踪，转而定义了原变量（Primal variables, $\beta$）和对偶变量（Dual variables, $\alpha$）：

• $\beta =Xw$：直接代表预测值。
• $\alpha =(X{X}^{o}p{)}^{-1}Xw$：代表在数据跨度（Data span）内的系数。

关键图表：动力学转换路线

通过 Lemma 5 & 6，作者证明了一个极其重要的物理直觉：

• 稳定性区域：如果一个样本的预测值在初期就是正的，且神经元号与标签符号一致，它将“永远保持活跃”。
• 冻结区域：如果一个对偶变量由于负梯度变得足够负，它对应的 Primal 变量会被 ReLU 激活函数归零，从而导致该样本的更新被“冻结”。

实验与结果：证据确凿的近似

作者针对 1-ReLU、2-ReLU 以及多神经元模型分别给出了严谨的界。

SOTA 对比分析：

• 在中等维度（$d\approx n$）下，GD 的解受初始化影响极大，呈现出一种“样本选择”的随机性。
• 但在高维 regime 下（见上表），GD 的解与最小范数解 $w^{\ast }$ 的欧几里得距离被锁定在 $\Theta (\sqrt{n/d})$。这意味着随着特征维度的增加，优化器自动实现了某种程度的正则化，即便没有任何显式的 Weight Decay。

深度洞察：这对 AI 研究意味着什么？

1. 过参数化的红利：在高维空间中，不仅仅是拟合变得容易，连优化的“路径偏置”都变得更加良性。这解释了为什么现在的 LLM 虽然不加 L2 正则项，依然能表现出极强的泛化能力。
2. 初始化的重要性：论文强调了初始化对进入“稳定激活区”的关键作用。若初始化过大或分布不均，模型可能掉入局部最小值。
3. 局限性：目前结论仍集中在浅层宽网络。深度网络的各层激活模式如何耦合，仍是高维分析的下一个战场。

总结

本文通过精妙的数学追踪，证明了在高维世界里，ReLU 激活函数不再是优化的障碍，反而与 GD 算法合谋，引导模型走向那个最优雅、范数最小的数学解。