如何以及为何要权重衰减
1. 核心概览
当有人告诉我们,模型的参数更接近 0 是更好的,在这个目标下
我们最初的目的实际就是要让权重变小,而不是 (1-gamma) 得去缩放,也不是增加要给所谓 theta 的范数,首先这个动机来自于哪里?当然最小二乘上直接添加范数目标能得到封闭解,最终发现是这种正则可以对小奇异值方向的噪音进行压制,但一般的网络中呢?似乎只有奥卡姆剃刀或者说小的参数意味着导数总体会小(即更平滑而不是陡峭),但对于任意复杂的 f(x) 我们有的期望也就是把参数变小,范数和 (1-gamma) 都不是本质,只是实践中找到的有用的技巧,因此为什么不在 f(x) 上加入范数再做 adam, 这里的唯一解释就是它会破坏各方向缩小的尺度,影响收敛效率甚至效果,并不是说它是错的,因为它仍然是在缩小 w
- 目标层:定义 \( f + \frac{\lambda}{2}\|\theta\|^2 \)(L2 正则)。
- 梯度层:计算 \( \nabla f + \lambda\theta \)。
- 优化器层:如何将梯度映射为参数更新(SGD 线性,Adam 非线性)。
- 在 SGD中,第 2 层和第 3 层的复合等同于在更新后直接打折,故 L2 \( = \) Weight Decay。
- 在 Adam中,第 3 层的非线性预条件器 \( P_t \) 破坏了这种复合关系,故 L2 \( \neq \) Weight Decay。
**最终建议**:若你使用 SGD,两者等效,随便选;若你使用 Adam 等自适应优化器,请选择 AdamW 以使用解耦的权重衰减,它能保证参数收缩的均匀性与可控性。这不仅是工程调参的细节,更是理解优化目标与离散动力学之间微妙张力的绝佳窗口。
2. 正则化和权重衰减
2.1.
设带 L2 正则化的目标函数为:
\[ f_{\mathrm{reg}}(\theta)=f(\theta)+\frac{\lambda}{2}\|\theta\|_2^2 \]
其梯度为:
\[ \nabla f_{\mathrm{reg}}(\theta)=\nabla f(\theta)+\lambda\theta \]
采用普通 SGD(学习率 \( \eta \))更新时:
\[ \theta_{t+1}=\theta_t-\eta\nabla f_{\mathrm{reg}}(\theta_t) =\theta_t-\eta\nabla f(\theta_t)-\eta\lambda\theta_t =(1-\eta\lambda)\theta_t-\eta\nabla f(\theta_t) \]
这与标准权重衰减(Weight Decay)的形式 \( \theta_{t+1}=(1-\gamma)\theta_t-\eta\nabla f(\theta_t) \) 完全一致,只要令:
\[ \gamma=\eta\lambda \]
因此,在普通 SGD 中,L2 正则化等价于这种标准形式的权重衰减。
## 2. Adam 的介入:等价性的终结
问题在于,上述等价性严重依赖于 SGD 的**线性更新结构**。一旦我们进入自适应优化器(如 Adam),情况彻底改变。
将 Adam 的更新抽象为带预条件矩阵 \( P_t \) 的形式:
\[ \theta_{t+1}=\theta_t-\eta P_t \nabla f(\theta_t) \]
其中 \( P_t \) 是依赖历史梯度的对角缩放矩阵(通常与梯度二阶矩成反比)。
### 2.1 若坚持使用 L2 正则化(Adam+L2) 优化器将正则化后的梯度 \( \nabla f + \lambda\theta \) 送入更新公式:
\[ \theta_{t+1} =\theta_t-\eta P_t(\nabla f+\lambda\theta) =\theta_t-\eta P_t\nabla f-\eta\lambda P_t\theta \]
此时正则项对参数的影响为 **\( -\eta\lambda P_t\theta \)**。由于 \( P_t \) 在各维度上取值不同,正则化的强度被自适应缩放机制“扭曲”——某些维度被过度惩罚,另一些则不足。
### 2.2 若采用解耦的权重衰减(AdamW) 真正的权重衰减希望在参数上独立施加均匀收缩,不经过 \( P_t \):
\[ \theta_{t+1}=(1-\eta\lambda)\theta_t-\eta P_t\nabla f =\theta_t-\eta P_t\nabla f-\eta\lambda\theta_t \]
此时正则项对参数的影响为 **\( -\eta\lambda\theta \)**,所有参数享受一致的衰减。
| 方法 | 正则项作用形式 | 是否经过预条件器 |
| :--- | :--- | :--- |
| Adam + L2 | \( -\eta\lambda P_t\theta \) | 是(被扭曲) |
| AdamW | \( -\eta\lambda\theta \) | 否(均匀) |
结论二:在 Adam 这类自适应优化器中,L2 正则化 \( \neq \) 权重衰减。** 两者优化的是不同的参数动力学过程。
2.2. 本质:目标函数 vs. 参数动力学
为什么我们要在意这种区别?这涉及到正则化的两种实现哲学:
- **目标函数视角(L2 正则化)**:我们在损失函数中显式加入 \( \frac{\lambda}{2}\|\theta\|^2 \),优化器(无论是什么)只需负责最小化这个最终目标。Adam+L2 在数学上完全自洽。
- **参数动力学视角(Weight Decay)**:我们直接规定每一步参数必须向零收缩固定的比例,而这一行为应与优化器如何缩放损失梯度无关。
在 SGD 中,由于更新规则的线性性,这两种哲学恰好殊途同归。但在 Adam 中,前者的衰减项会被 \( P_t \) 处理,破坏了“均匀收缩”的直觉。**AdamW 的出现,正是为了将衰减机制从优化器的自适应缩放中解耦出来**,保留后者在实践中的稳定效果。
—
3. 为什么要“小权重”?
参考这个对话: https://chat.deepseek.com/a/chat/s/2adab282-4a3b-4f2d-9fe7-e0a99bdb97bd
既然提到了权重衰减,有必要澄清其背后的动机,以免陷入“为打折而打折”的误区。
- **在线性模型(如岭回归)中**,\( \|\theta\|^2 \) 有完美的数学解释:它压制数据中微弱信号方向(小奇异值)上的巨大方差,提升泛化稳定性。
- **在深度网络中**,\( \|\theta\|_2 \) 只是一个粗糙的代理指标。由于 ReLU 的尺度不变性、参数化的对称性等因素,范数小并不严格等同于函数简单或泛化好。它更多是一个**廉价、稳定且经验有效的归纳偏置**。
因此,无论选择 L2 还是 Weight Decay,它们都只是实现“控制模型复杂度”这一模糊目标的工具。区别在于,当优化器变得复杂(如 Adam)时,我们更倾向于将控制权(衰减)掌握在动力学层面,而非交给可能扭曲它的自适应梯度处理器。
是的,权重衰减(Weight Decay)是当前训练大语言模型(LLM)的标准正则化技术。在实践中,它通常与Adam优化器结合,以**AdamW**的形式实现。
关于“为什么要让参数变小”,最新的理论研究指出,其在LLM上的作用已远超出传统“防止过拟合”的范畴。它的核心作用在于**以一种更优的方式改变训练过程的动态**,从而提升训练的稳定性、效率和最终模型的质量。
具体来说,主要有以下几个层面的理论解释:
### 🧠 理论一:控制模型复杂度,提升泛化能力(经典视角)
这是最传统的解释。权重衰减通过在损失函数中加入权重的L2范数惩罚项 \(\lambda \|\theta\|^2\),在每次参数更新时对权重进行“收缩”。
抑制过拟合**:惩罚大的权重,防止模型过度依赖少数几个特征,鼓励模型利用更多特征来学习更简单的模式。 遵循奥卡姆剃刀原则**:在多个能解释数据的模型中,倾向于选择参数更小、结构更简单的那个。 提升分布外泛化能力**:较小的初始化尺度或较大的权重衰减系数,能显著促进模型学习具备推理结构的组合规则。
### ⚙️ 理论二:优化训练动态,提升稳定性(关键新视角)
对于极度过参数化的LLM,它们本身已具备强大的隐式正则化能力。此时权重衰减的主要作用转变为**优化训练过程本身**。
**增强SGD的隐式正则化**:权重衰减可以通过“损失稳定化机制”(loss stabilization mechanism),增强随机梯度下降(SGD)中噪声带来的隐式正则化效果。 **防止训练崩溃(loss spikes)**:这是权重衰减在LLM训练中一个极其关键的作用。在使用**bfloat16**混合精度训练时,权重衰减能有效防止突然的损失发散(loss divergences)。原因在于,权重衰减会使embedding的范数逐渐减小,从而维持训练的数值稳定性。 **平衡偏差-方差权衡**:在近乎“单次遍历(one-epoch)”数据集的LLM训练模式下,权重衰减能帮助优化器在随机优化的偏差与方差之间找到更好的平衡点,从而获得更低的训练损失。
### 🧬 理论三:塑造模型内部结构
权重衰减不仅影响最终结果,还会深刻改变模型内部的表征和结构。
**诱导低秩注意力层**:研究发现,权重衰减会促使Transformer中**注意力矩阵的乘积(如 \(W_K^TW_Q\) 和 \(PW_V\))变得低秩**。这可能是一种有效的正则化,但过度低秩也可能损害模型性能。 **鼓励线性可分的表征**:权重衰减能促使模型学习到更清晰、更线性可分的内部表征。 **提升模型可塑性(Plasticity)**:研究表明,预训练时使用**更大的权重衰减**,能提高模型在微调时的适应能力(可塑性),带来更好的下游任务性能。
### ⚖️ 理论四:“重尾”平衡(更前沿的视角)
最前沿的理论尝试从模块级别理解权重衰减。LLM不同模块(如注意力层、MLP层)的权重矩阵展现出不同程度的“重尾性”(Heavy-tailedness)。
**原理**:基于“重尾自正则化”(HT-SR)理论,该方法认为,对**重尾性更强**(即特征学习更活跃)的模块应施加**更弱的**权重衰减,而对**轻尾**的模块施加**更强的**权重衰减,以实现模块间的平衡。 **效果**:这种名为**AlphaDecay**的自适应方法,在实验中取得了比统一权重衰减更优的困惑度和泛化性能。
### 💎 总结
总而言之,在LLM训练中,权重衰减早已超越了“让权重变小以防止过拟合”的单一功能。它已经演变为一个**多功能的训练动态调节器**:
**保证稳定性**:是防止大模型训练崩溃的“安全气囊”。 **提升效率**:能优化优化路径,加速收敛。 **塑造结构**:能引导模型形成更有利于泛化和后续微调的内部表征。
这与你们之前讨论动量时发现的“实根区震荡可能不是bug而是feature”有异曲同工之妙——在某些情况下,看似“不完美”的优化动态,恰恰是模型在非凸损失函数上取得成功的秘诀。