模型越大损失越小，凭什么？叠加给出了一个几何答案

TL;DR

“神经缩放定律”已经驱动了整个行业五年，但它为什么成立，一直没有令人信服的机制解释。MIT 团队的这篇 NeurIPS 2025 最佳论文提名给出了一个出人意料的答案：关键不在模型学到了什么，而在模型怎么把特征塞进有限的维度里。大语言模型要把五万多个 token、乃至更多抽象概念塞进只有几千维的隐藏空间，只能让不同特征的表征向量互相重叠——这就是“叠加”。论文用 Anthropic 的叠加玩具模型做了一组干净的对照实验：叠加很弱时，损失是不是幂律完全取决于数据本身的频率分布，只有特征频率服从幂律时才有幂律，指数 $\alpha_m \approx \alpha - 1$；叠加很强时，损失稳定地按 $1/m$ 下降，指数约等于 1，几乎不依赖数据分布长什么样。更关键的是，他们在 OPT、GPT-2、Qwen、Pythia 四个开源模型家族（100M 到 70B 参数）上实测：语言模型头的表征向量重叠量确实服从 $1/m$ 缩放，损失拟合出的指数是 $0.91 \pm 0.04$，从 Chinchilla 缩放定律换算过来则是 $0.88 \pm 0.06$。换句话说，缩放定律很可能是高维几何的直接后果：维度翻倍，平均干扰减半，损失跟着减半。

论文信息卡

• 标题：Superposition Yields Robust Neural Scaling（叠加带来稳健的神经缩放）
• 作者：Yizhou Liu、Ziming Liu、Jeff Gore
• 单位：麻省理工学院（MIT）
• 会议：NeurIPS 2025，Best Paper Runner-Up（最佳论文提名）
• 原文链接：https://arxiv.org/abs/2505.10465
• 代码：https://github.com/liuyz0/SuperpositionScaling

背景：五年了，“越大越好”仍然是个经验规律

2020 年 Kaplan 等人首次系统刻画了神经缩放定律：损失随参数量、数据量和算力增大而按幂律下降；2022 年 Chinchilla 进一步给出算力最优配比，把这条规律变成了行业的建模指南针。

但“规律成立”和“理解规律”是两回事。为什么损失偏偏是幂律？指数由什么决定？至今没有定论。已有解释大致分两派：一派认为大模型不过是更好地拟合了数据流形或函数，指数由数据的谱结构决定；另一派认为模型在逐个学会重要性服从幂律的离散技能。两派都隐含地假设模型处在弱叠加状态：特征要么被干净表征，要么被丢掉。

问题是，真实的大语言模型根本不是这样工作的。词表五万多个 token，隐藏维度只有几千，不可能给每个 token 分配一个正交方向。Anthropic 在 2022 年的“Toy Models of Superposition”里早就指出，模型会把多个特征“叠”在同一个方向上，表征向量必然互相重叠、彼此干扰。这篇论文的出发点就是：既然真实模型活在叠加里，建立在弱叠加假设上的解释可能从一开始就量错了对象——作者要把叠加程度变成可以调节的旋钮，看它如何改变缩放行为。

图：叠加带来稳健而快速的幂律损失下降。(a) 无叠加时三维空间最多干净表征三个特征；(b) 弱叠加下损失是否成幂律取决于数据分布；(c) 强叠加时特征多于维度、表征向量互相重叠；(d) 强叠加下损失更低、指数接近 1，灰色点是真实大模型（来源：论文原文）

方法拆解：一个能调“叠加程度”的玩具模型

第一步：把语言抽象成“稀疏特征恢复”

论文沿用 Anthropic 的叠加玩具模型——一个自编码器。输入 $x \in \mathbb{R}^n$ 是一个 $n$ 维向量，$n$ 是“原子特征”的总数；每个分量 $x_i = u_i v_i$，其中 $u_i \sim \mathrm{Bernoulli}(p_i)$ 控制特征是否出现，$v_i \sim U(0,2)$ 控制出现时的强度。$p_i$ 就是特征 $i$ 的出现频率，按重要性排序后记为 $p_i \propto 1/i^{\alpha}$（自然语言词频服从 Zipf 定律，$\alpha \approx 1$）。

模型要把 $x$ 压缩进 $m$ 维隐藏空间（$m \ll n$）再恢复出来：先编码 $h = W^T x$，再解码 $y = \mathrm{ReLU}(Wh + b)$，损失是恢复误差 $L = \langle \|y - x\|_2^2 \rangle_x$。$W$ 的第 $i$ 行 $W_i$ 就是特征 $i$ 的表征向量。

这个设定只保留了语言建模的核心矛盾——“特征太多、维度太少”——而剥掉了 Transformer 层与 next-token 预测。论文也论证了，平方误差与交叉熵的差别不影响缩放行为（附录 A.2），所以这个玩具模型是研究“表征受限的缩放”的合适抽象。

图：叠加玩具模型。(a) 自编码器结构与损失；(b) 无叠加时只有最频繁的几个特征被干净表征，其余被丢弃；(c) 有叠加时所有特征都被表征，但表征向量互相重叠（来源：论文原文）

第二步：给“叠加”一个可操作的定义

叠加程度看 $W$ 有多少行范数非零：理想无叠加是前 $m$ 行构成正交基（最频繁的 $m$ 个特征被完美表征），其余行全是零；叠加则是超过 $m$ 行非零——模型宁可让表征向量互相干扰，也要把更多特征塞进来。

行向量范数呈双峰分布：接近 0（被丢弃）或接近 1（被表征）。于是作者定义“被表征特征的比例”$\phi_{1/2} = |\{i: \|W_i\|_2 > 1/2\}| / n$，用 1/2 作阈值区分两类。$\phi_{1/2} \approx m/n$ 对应无叠加，$\phi_{1/2} \approx 1$ 对应强叠加。

第三步：用权重衰减当作“叠加旋钮”

作者在 AdamW 里引入一个解耦的权重衰减（或增长）项：

$W_{i,t+1} = W_{i,t} - \eta_t \gamma W_{i,t} \quad (\gamma \geq 0)$

$\text{负 } \gamma \text{ 时则改为 } W_{i,t} - \eta_t \gamma W_{i,t}(1/\|W_{i,t}\|_2 - 1)$

正的 $\gamma$ 是常规权重衰减，把不重要的行向量压向零，走向弱叠加；负的 $\gamma$ 相当于对 $(\|W_{i,t}\|_2 - 1)^2$ 做梯度下降，把所有行向量推向单位范数，走向强叠加。实测表明这个旋钮很可靠：$\gamma$ 从 $-1$ 扫到 $1$，$\phi_{1/2}$ 就从接近 1 平滑过渡到 $m/n$，对各种特征频率分布都成立。于是作者可以在“叠加程度”和“数据分布”两个维度上做系统对照：固定 $n = 1000$，$m$ 从 10 变到 100，把最终测试损失拟合成幂律 $L \propto 1/m^{\alpha_m}$。

实验与数据：弱叠加看数据脸色，强叠加只看几何

弱叠加：损失就是“被丢掉的特征的频率之和”

弱叠加 regime 的行为可以概括为：损失等于模型没学会的那些特征的频率总和——模型完美表征最频繁的前 $\phi_{1/2}n$ 个特征，剩下的全部丢掉：

$L \approx \langle v^2 \rangle \sum_{i > \phi_{1/2}n} p_i$

实测与理论预测吻合。推论是：只有当特征频率本身服从幂律 $p_i \propto 1/i^{\alpha}$（且 $\alpha > 1$）时，损失才会随模型维度成幂律下降，指数 $\alpha_m \approx \alpha - 1$。换句话说，弱叠加下的幂律是数据分布的“投影”。这正是 Bahri 等人（PNAS 2024）等前人工作的结论：那些解释本质上都落在弱叠加 regime。

强叠加：几何接管了一切，指数锁死在 1 附近

强叠加 regime 则完全是另一幅图景：所有特征都被表征，损失不再来自“没学会”，而来自表征向量之间的几何重叠——只有特征 $j$ 被激活时，输出里会混进其他特征的贡献，误差正比于重叠量的平方 $(W_i \cdot W_j)^2$。

关键的理论洞察是，随机单位向量的平方重叠天然服从 $1/m$ 缩放：在 $m$ 维空间里，两个随机单位向量的平方内积服从 $\mathrm{Beta}(1/2, (m-1)/2)$ 分布，均值恰好是 $1/m$。而训练出来的表征向量比随机向量更规整：重要特征的向量会自组织成近似“等角紧框架”（ETF），即所有向量两两夹角几乎相等——这是把最大重叠压到理论下界 $\kappa \approx \sqrt{1/m}$ 的最优构型。实测中，重要特征向量的平方重叠方差小于随机向量，均值塌缩在 $1/m$ 附近；ETF 只能容纳约 $m^2/2$ 个向量，强表征特征数以此为上限。

于是得到一个干净的预测：频率分布平坦时 $\alpha_m = 1$，很偏斜时次要特征的拖累让指数上升到 $\alpha_m \approx 2(\alpha - 1)$，实测与这两条线都吻合。图 1(d) 的对照一目了然：用指数、幂律、线性三种完全不同的特征频率去训，强叠加下的损失曲线几乎重合，指数都贴近 1——幂律的出现不再依赖数据分布长什么样。这就是标题里“Robust”（稳健）二字的来历。

图：强叠加下的损失缩放可用几何解释。(a) 行向量范数集中在 1 附近；(b) 越重要的特征范数越大；(c)(d) 重要特征的表征向量呈等角紧框架状，平方重叠均值约 1/m；(e) 频率平坦时指数为 1，偏斜时约 2(α−1)（来源：论文原文）

真实大模型：确实活在强叠加里，指数 0.91

玩具模型再漂亮，也要过真实模型这一关。作者把 token 当作原子特征、词表大小当作 $n$，解剖 OPT、GPT-2、Qwen、Pythia 四个开源模型家族（100M 到 70B 参数）的语言模型头 $W$：各行范数普遍非零，模型确实处在强叠加状态；归一化行向量间的平均平方重叠在四个家族、不同规模下都大致服从 $1/m$。

拟合时要小心：真实模型的损失外推到 $m \to \infty$ 时并不归零，因为语言本身有内在不确定性。所以作者用 $L = C_m/m^{\alpha_m} + L_{\backslash m}$ 拟合，剥离与模型尺寸无关的部分，得到 $\alpha_m = 0.91 \pm 0.04$。交叉验证：从 Chinchilla 缩放定律换算，模型参数量 $N \propto m^{2.52 \pm 0.03}$，损失随参数量的指数 $\alpha_N = 0.35 \pm 0.02$，两者相乘得 $\alpha_m = 0.88 \pm 0.06$——两个独立来源的数字在误差范围内一致，都贴近理论预测的 1。

图：叠加可能解释真实大模型的神经缩放定律。(a) 四个开源模型家族的语言模型头平均平方重叠大致服从 1/m；(b) 剥离尺寸无关损失后，模型指数为 0.91 ± 0.04，接近 1（来源：论文原文）

相关工作对比：前人解释的，大多是“弱叠加世界”的规律

相关工作分三条线。第一条是现象学与拟合理论线：Kaplan、Chinchilla 确立了经验规律；Bahri 等人用核方法与数据流形给出了解释，在“分辨率受限” regime 下得到 $\alpha_m = \alpha' - 1$——这正是本文弱叠加 regime 的结论，相当于前人无意中假设了模型不叠加。第二条是技能学习线：Michaud 等人的量子化模型假设模型逐个学会重要性服从幂律的离散技能，同样复现弱叠加的指数关系。第三条是资源模型线：Song 等人用中心极限定理导出 $1/m$ 缩放，但只适用于过参数化情形，与真实大模型关系不大。

本文的新意是把这几条线统一到一个框架里：弱叠加时，之前所有的解释都成立，指数由数据分布决定；强叠加时，几何接管，指数被锁在 1 附近，与数据分布脱钩。而真实大模型恰恰处在强叠加 regime——所以前人解释的不是错，而是量错了 regime。

局限与开放问题

• 玩具模型没有被严格求解：强叠加 regime 的分析依赖理论 ansatz 加实验观察的来回印证，$W$ 矩阵本身没有解析解。
• 只研究了表征损失：真实大模型的损失还包括 Transformer 各层“解析”输入的损失 $f_{\ell}(\ell)$；论文猜想宽度与深度存在最优配比（$N \propto m^2\ell$），但解析受限的缩放规律本身尚未独立研究。
• 数据量与训练步数的缩放未涉及：实验每步都用新采样的数据；数据量与训练步数的缩放，强叠加下与表征向量夹角的演化有关，论文未展开。
• 为什么真实模型处于强叠加，原因未深究：论文只给了两个猜想——语言特征本身很稀疏，以及 softmax 擅长纠错、让叠加更划算；深层机制仍是开放问题。
• 鼓励叠加有代价：作者明确承认，叠加让模型更难被机制性地解读，对 AI 安全与可解释性研究是不利的；这是一条需要权衡的线。

一点思考

这篇论文最打动我的地方，是它把“越大越好”从一句经验口号变成了一道可以手算的几何题：维度翻倍，平均干扰减半，损失跟着减半——指数 1 不是拟合的巧合，而是高维空间的出厂设置。实操上有两点值得记下来：第一，做缩放预测或模型选型时，别只盯着参数量 $N$，宽度 $m$ 才是表征瓶颈的直接变量，同样参数量下“宽而浅”与“窄而深”的缩放行为可能完全不同；第二，既然叠加对模型是好事，主动鼓励叠加（比如 nGPT 把隐藏状态约束在单位球面上、去掉权重衰减的优化器）可能让小模型逼近大模型，这条路值得在自己的训练实验里试一试。我的判断是：这篇工作不会终结缩放定律的争论（解析受限的部分还空着），但它很可能成为此后所有缩放解释绕不开的基准——任何新理论都得先回答：你的模型处在哪个叠加 regime？

原文链接

• 论文：https://arxiv.org/abs/2505.10465
• HTML 全文：https://arxiv.org/html/2505.10465v4
• 代码：https://github.com/liuyz0/SuperpositionScaling
• NeurIPS 2025 获奖介绍：https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/

参考文献

• Kaplan, J. et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.
• Hoffmann, J. et al. Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556, 2022.
• Elhage, N. et al. Toy Models of Superposition. Transformer Circuits Thread, 2022.
• Bahri, Y. et al. Explaining Neural Scaling Laws. Proceedings of the National Academy of Sciences, 2024.
• Michaud, E. et al. The Quantization Model of Neural Scaling. NeurIPS 2023.
• Song, J. et al. A Resource Model for Neural Scaling Law. arXiv:2402.05164, 2024.