通过输入扰动，研究模型为何能泛化
给输入加入随机扰动，再观察输出变化，可以帮助研究者判断模型对哪些信息敏感。《Noise Stability of Transformer Models》尝试将这种观察变成训练方法，让模型更早学会处理训练集之外的数据。
ICLR 2026 论文《Noise Stability of Transformer Models》由波士顿大学和日本国立信息学研究所（NII）的研究者完成。团队提出用噪声稳定性（noise stability）衡量模型对输入扰动的反应，并据此设计正则化方法。论文在算法任务上报告约 35% 的加速，在小规模语言建模实验中减少约 75% 的训练迭代次数，还观察到模型更早出现 grokking，即训练准确率已较高后，验证表现经过较长停滞才突然改善的现象。
从平均敏感度到噪声稳定性
这项方法从一个理论问题出发：怎样衡量模型学到的函数有多复杂，以及它对哪些输入最敏感？
布尔函数分析与平均敏感度
布尔函数分析研究从超立方体 {±1}ⁿ 到实数的函数，其核心工具是傅里叶展开：任何布尔函数都可表示为多线性多项式 f = Σ f̂ᵤ χᵤ，其中 χᵤ(x) = ∏ᵢ∈ᵤ xᵢ 是基函数。这一框架下，坐标 i 的「影响力」定义为翻转该坐标时期望输出变化的平方：Infᵢ[f] = E[((f(x) - f(x⊕ⁱ))/2)²]。所有坐标影响力之和即为平均敏感度 I[f]。
平均敏感度之所以重要，是因为它与函数的「谱集中度」密切相关：低平均敏感度意味着傅里叶质量集中在低阶项上，而根据 Friedgut 的 Junta 定理，在定理所要求的布尔值函数等条件下，可以用仅依赖少数变量的 junta 函数近似。
平均敏感度的两大局限
Haris、Zhang 和 Yoshida 在论文中指出，平均敏感度作为简单性度量存在两方面局限。
理论局限：平均敏感度根植于布尔域，其定义依赖「翻转单个比特」的操作。尽管可以通过几何影响力（geometric influence）推广到连续空间——定义为 Iᴳ[f] = Σ ||∂ᵢf||_{L¹(μ)}——但这一推广在实践中仍显笨拙。
经验局限：研究者对 GPT-2、Gemma-2b 和 RoBERTa 在 256 个 token 序列上的几何影响力进行了分析。实验中约 5–10 个 token 的影响明显较高，说明输入影响比论文讨论的理论界限更集中，呈现「junta-like」特征。但其余 token 的影响并不为零。测试中首尾 token 通常最有影响，这与 KV Cache 压缩研究中关于「attention sinks」的观察相近。
同时扰动所有输入，衡量输出变化
为克服上述局限，研究者转向了布尔函数分析中另一个经典概念——噪声稳定性。与平均敏感度逐坐标扰动不同，噪声稳定性衡量函数对同时施加于所有输入坐标的相关噪声的鲁棒性。
形式化地，对于 ρ ∈ (0,1)，给定 X ~ γ（标准高斯测度）和 Y = ρX + Z√(1-ρ²)（Z 独立于 X 且 Z ~ γ），噪声稳定性定义为：
Stab_ρ(f) = E_{(X,Y)}[f(X)·f(Y)]
这一概念可以借助 Ornstein-Uhlenbeck 半群理论推广到实值域。在 Hermite 多项式基下，噪声稳定性与函数谱有直接联系：Stab_ρ(f) = Σ ρ^{|α|} f̃(α)²。这使得研究者能够形式化地证明：在相对于函数平方范数的稳定性足够高等条件下，其谱质量会集中在低阶系数上——这比平均敏感度提供了更精细的谱集中度刻画。
论文中的实验表明，对于 GPT-2 等模型，基于噪声稳定性的谱集中度估计比基于平均敏感度的估计更为准确，特别是在高阶傅里叶尾部分布（≥15 阶）的预测上。
分析注意力层、MLP 和多层传播
论文对 Transformer 核心组件的噪声稳定性进行了系统分析。
单层 ReLU MLP
对于一对 ρ-相关的标准高斯输入 (X, Y)，ReLU 激活函数的噪声稳定性可以精确计算：
E[ReLU(X)·ReLU(Y)] = (1/(2π))·(√(1-ρ²) + ρ(π - arccos ρ))
这一结果与 arc-cosine 核理论密切相关。在 ρ ≈ 0 附近，其二阶泰勒展开为 1/(2π) + ρ/4 + ρ²/(4π)，表明 ReLU MLP 对噪声稳定性具有弱衰减效应。
单层注意力层
注意力层的分析取决于 W = W_Q W_K^T 的结构：
- 恒等情形（W = I_d）：在高维极限下，注意力矩阵 σ(XX^T) 收敛到单位矩阵，层退化为线性变换，稳定性与 ρ 成线性关系。
- 非结构化情形（W ~ N(0, I)）：注意力矩阵集中到随机置换矩阵，每个输出 token 关注单一随机输入 token。稳定性取决于两个相关输入上的注意力模式是否一致，引入了概率因子 s(ρ)。
多层传播：协方差区间传播
对于多层网络，研究者提出了协方差区间传播方法。对于 ReLU FFN，若忽略层间分布偏移，稳定性近似遵循递推关系 ρ_L ≈ 1/(2π) + ρ_{L-1}/4，收敛到不动点 2/(3π)，呈现弱衰减行为。对于更复杂的 Transformer，研究者推导了严格的上下界，用于追踪噪声稳定性在多层网络中的传播。
在训练损失中加入原输入与扰动输入的输出关系
基于上述分析，论文把噪声稳定性写成可以加入训练损失的正则项。给定模型 M 和输入序列 X，S-定向噪声稳定性正则化器定义为：
R_{M,S,ρ}(X) = (-1)^S · Σᵢ M(X)ᵢ · M(Y)ᵢ
其中 Y 以概率 (1+ρ)/2 保持 Xᵢ 不变，否则替换为均匀随机 token。设置 S=1 鼓励模型学习噪声稳定的函数。正则化损失为 ℓ_reg = ℓ + γ·R，其中 γ 控制正则化强度。
计算这一正则项需要每次迭代额外进行一次模型前向传播。它作用于训练样本的模型输出，不要求改变模型结构；不过额外计算本身有成本，迭代次数的下降不能直接当作同等幅度的总耗时下降。
合成任务中，模型更早出现泛化
论文在模加法和带噪稀疏奇偶校验这两类已知会出现 grokking 的任务上，比较加入正则化与未加入正则化的模型。研究者观察到，正则化使验证表现更早改善。
在模加法任务（modular addition，K=113）上，泛化所需迭代从约 4500 次降至约 3300 次，即减少约 27%；论文按两者比值称之为约 36% 的加速。在带噪稀疏奇偶校验（noisy k-sparse parity）任务上，作者报告约 35% 的加速。
在带噪稀疏奇偶校验实验中，模型的噪声稳定性会在训练中下降，接近目标函数的稳定性水平，而且变化发生在验证表现改善之前。作者据此认为，它可能为观察这一任务的泛化进程提供先行信号。
这一观察为理解 grokking 增加了一个角度。已有研究将它与数值稳定性、权重范数等联系起来；这篇论文则尝试追踪模型对输入扰动的反应。稳定性如何影响泛化，以及这种联系能否推广到其他任务，仍有待解释。
WikiText 小规模实验减少约 75% 迭代次数
论文还在 WikiText-2-v1 的小规模设置上测试 next-token prediction：模型为 4 层 Transformer，隐藏维度 30、6 个注意力头，序列长度 20，词表大小 500，使用 1000 个训练样本。加入正则化后，验证准确率在约 1000 次迭代达到 70%，未正则化模型约需 4000 次，迭代次数减少约 75%。与此同时，正则化模型的噪声稳定性保持较高水平，未正则化模型则逐渐下降。
结果说明，该方法的收益不限于合成任务。不过，这一语言建模实验的模型、词表和数据量都很小，尚不能代表大语言模型预训练。评估它的训练成本，还需计入额外前向传播和超参数选择。
无需改动模型结构，规模化收益仍待验证
从实现方式看，这个正则项有几项特点：
- 接入训练循环：增加扰动输入的前向传播，并把正则项加入损失。
- 无需修改架构：不需要修改模型结构或初始化策略。
- 可微分：正则化器对模型参数可微，可用梯度下降优化。
- 数据依赖：正则化基于训练数据的模型输出，而非仅基于参数范数。
理论上，论文也将信号传播分析与模型可解释性联系起来。噪声稳定性与信号传播文献中的 C-map（相关性映射）相近，但两者的出发点不同：前者从谱集中度和简单性偏置出发，后者研究初始化与训练稳定性。这种联系为进一步统一分析工具提供了方向。
后续验证需要扩大模型和数据规模，比较相同计算预算下的收益，并明确正则化强度等超参数的选择成本。论文作者表示将开放代码，便于复现这些结果和检验适用范围。
