这项来自清华大学、北京大学、已被 NeurIPS 2026 接收的研究给出的核心答案很直接:大模型里那些看起来反常的「巨大激活」(Massive Activations),并不是训练失控产生的垃圾数值,而是模型在训练过程中自己长出来的一套梯度自适应调节结构。过去大家都盯着前向计算,看输入怎么被加工成输出;这篇论文换到反向传播这条链路去观察,发现注意力汇聚(Attention Sinks)会先把训练梯度集中到序列开头少数 Token 上,形成「梯度汇聚」(Gradient Sinks),局部梯度压力一下子变大;残差流上被拉大的激活范数,再借助 RMSNorm 的数学特性,把这股集中传回的高压梯度压下去,保证残差流里的梯度尺度相对平稳。一句话总结:巨大激活本质上是模型用来缓解局部梯度压力的「减压阀」,和注意力汇聚是同一套机制在反向传播里的两端表现。
一、先搞懂两个反复出现的模型现象
在大语言模型里,有两个经常成对出现、长期被单独观察的现象:
| 现象名称 | 直观表现 | 常见出现位置 |
|---|---|---|
| 注意力汇聚(Attention Sinks) | 序列开头少数 Token 没什么实际语义,却被后续大量 Token 频繁回看、吸引大量注意力权重 | 多为首 Token(BOS Token,Token 0) |
| 巨大激活(Massive Activations) | 模型内部隐藏状态、残差流数值在个别位置变得非常大,激活范数远高于周围其他位置 | 和注意力汇聚点基本重合 |
之前的研究大多只从前向计算切入,解释模型怎么读输入、怎么聚信息、怎么出结果。但在采用 pre-norm(前置归一化)架构的 Transformer 里,子层拿到的输入本身已经过 RMSNorm 归一化:只要向量方向不变,只把向量整体放大缩小,归一化之后送进注意力 / MLP 的输入几乎不变。这就留下一个很矛盾的问题 —— 既然前向阶段大激活范数起不到直接作用,模型为什么要在训练里把这些激活练得这么大?答案不在前向,而藏在归一化层的反向传播里:前向被消掉的尺度,依然会影响梯度往回传的过程。
二、反向传播链条:从注意力汇聚到梯度汇聚
1. 注意力权重同时管前向路由和反向梯度分配
- 前向阶段:注意力机制把不同位置的 Value 向量按权重加权求和,完成信息聚合。
- 反向阶段:同一组注意力权重,会决定损失梯度怎么分配回各个位置的 Query、Key、Value 路径。
- 在因果掩码(causal masking)条件下,当大量后续 Token 都把注意力压向开头同一个 Token 时,梯度也会顺着同一套权重集中回这个位置。
2. 实验观测到的梯度集中特征
研究团队在多个模型上做了梯度统计,覆盖从零训练的 0.1B、1B 基线模型,以及 Qwen2.5-7B、Qwen3-8B、Llama-3.1-8B、GLM-4-9B 等预训练模型:
- RMSNorm 之后的注意力输入处,首 Token 的梯度范数远大于其他位置;
- 首 Token 梯度通常比其他早期位置平均值高出一到两个数量级;
- 这种梯度局部集中在 Key、Value 路径上最明显,Value 路径的尖峰幅度比 Key 侧更大,Query 路径表现则完全不同;
- 论文把这种现象正式命名为梯度汇聚(Gradient Sinks):注意力的汇聚点,同时也是梯度的汇聚点。
3. 理论链条打通注意力汇聚与巨大激活
研究团队进一步分析了 RMSNorm 的梯度传递性质,核心结论可以拆成三层:
- 首 Token 的梯度经过注意力子层之后被急剧放大,形成局部高压;
- 由于 RMSNorm 的作用,传回残差流的分支梯度被压缩,最终残差流梯度尺度保持相对稳定,没有跟着一起炸;
- 理论推导显示:在其他条件相同时,输入激活的尺度越大,RMSNorm 对反向梯度的收缩能力就越强——RMSNorm 的雅可比矩阵算子范数上界,和输入激活的均方根尺度成反比。
由此形成完整机制链:
注意力向少数位置集中 → Value 路径出现梯度汇聚 → 残差流激活尺度变大 → 借 RMSNorm 衰减传回残差流的高压分支梯度 → 稳定整条残差流的梯度传输。
在这个视角下,巨大激活不是异常噪声,而是训练中自发形成的自适应调节部件。
三、对照实验:把梯度汇聚控制住,巨大激活就被压下去
为了验证「梯度汇聚是因、巨大激活是果」,排除前向缩放的干扰,研究团队设计了针对性干预方案:
1. V-scale 干预设计
V-scale 是一条 Value 路径上的梯度阀门,只调整反向传播时 Value 路径传回的梯度,用来削弱汇聚在汇流 Token 上的梯度压力。
2. 两类对照实验结果
| 实验设置 | 注意力汇聚表现 | 巨大激活表现 |
|---|---|---|
| 普通基线模型 | 明显存在 | 明显存在 |
| V-scale 干预模型 | 基本保留 | 被显著抑制 |
| 仅改反向规则的对照模型(前向 Value 不变) | 仍明显存在 | 首 Token 残差流、MLP 输出范数减小,巨大激活被抑制 |
3. 附加效果
干预后的模型在标准评测任务上表现和基线基本持平,在多键检索等长上下文任务上,不同上下文长度、不同量化精度下的检索鲁棒性还有提升。
四、这项研究带来的理解视角更新
- 过去把注意力汇聚、巨大激活当成两个独立现象观察,这项工作在反向传播链路里找到了中介变量 —— 梯度汇聚,把二者串联起来。
- 注意力权重不仅决定前向怎么聚合信息,也决定反向怎么路由梯度;归一化层不仅改变前向表示尺度,也影响反向信号的传递强度。
- 面对模型里看起来「异常」的大激活,不能只问前向计算里它干了什么,还要追问它在训练信号流动中承担了什么调节职责。
论文基础信息
- 论文题目:Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
- 作者:Yihong Chen、Zhouchen Lin、Quanming Yao
- 收录会议:NeurIPS 2026
- 论文地址:arxiv.org/abs/2603.17771
- 开源代码:github.com/LARS-research/GradientSink
【相关 FAQ】
问题 1:大模型里的巨大激活为什么会在反向传播视角下被解释成梯度调节器?
回答 1:因为在 pre-norm 架构里,RMSNorm 的雅可比矩阵对梯度的收缩能力和输入激活尺度成反比。巨大激活把局部激活范数拉高之后,就能通过 RMSNorm 更强地压下注意力汇聚带来的梯度汇聚压力,避免残差流梯度尺度失控,所以被理解成训练中形成的自适应梯度调节器。
问题 2:清华北大团队提到的梯度汇聚和注意力汇聚是什么对应关系?
回答 2:注意力汇聚是前向阶段少数 Token 吸收大量注意力权重的现象;梯度汇聚是反向阶段同一批汇流 Token 集中接收大部分训练梯度的现象。研究证明在因果掩码下,注意力汇聚可以直接诱发梯度汇聚,后者是前者在反向传播里的对应表现。
问题 3:通过 V-scale 干预削弱梯度汇聚后,大模型的巨大激活会消失吗?
回答 3:实验结果显示,V-scale 只调整 Value 路径反向梯度、削弱汇流 Token 的局部梯度压力之后,注意力汇聚仍然保留,但巨大激活被显著抑制;只改反向规则的对照组也得到同样结果,直接支持了「梯度汇聚催生巨大激活」的机制判断。
问题 4:为什么前向归一化之后,激活范数大小还能影响大模型训练?
回答 4:因为 RMSNorm 在做前向归一化时消掉了向量整体尺度,但反向传播里尺度信息并没有被完全丢掉。激活尺度会通过归一化层的雅可比矩阵反向影响梯度收缩力度,所以前向看起来被抹平的范数差异,依然会在梯度回传环节发挥局部调节作用。
问题 5:这项关于巨大激活的研究覆盖了哪些大模型验证梯度汇聚结论?
回答 5:验证范围包括从零训练的 0.1B、1B 规模基线模型,以及 Qwen2.5-7B、Qwen3-8B、Llama-3.1-8B、GLM-4-9B 等主流预训练模型;跨模型都观测到首 Token 梯度显著高于其他位置的梯度汇聚现象,结论具备跨规模一致性。
【参考资料】
[2026-11-21](大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索)机器之心 / 凤凰网大风号
[2026-11-21](Attention Sinks Induce Gradient Sinks; Massive Activations Regulate Gradients via RMSNorm)PicX AI News
[2026-11-21](大模型为何长出「巨大激活」? 清华、北大研究从反向传播找到新线索)机器之心 / 今日头条
[2026-10-19](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv
[2026-10-19](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)Zhouchen Lin 个人主页公开论文
【免责声明】
本文内容基于公开学术论文及公开媒体报道整理,仅用于技术原理科普与研究信息分享,不构成任何模型训练、架构改造、量化部署层面的实操建议;文中涉及的模型表现、实验结论均来自对应研究团队在特定数据集与实验设置下的结果,实际应用效果会随模型版本、训练配置、硬件环境不同产生差异。论文结论属于学术研究阶段成果,后续可能随社区复现与后续研究得到补充、修正,请勿将本文内容作为工程落地的唯一依据。
本文来自作者[郝会]投稿,不代表环球商财网立场,如若转载,请注明出处:https://www.econews.cn/rgzn/202611/9048.html