对齐为什么一推就倒：语言模型的“弹性”与反弹

TL;DR

一个对齐得很好的模型，为什么只要再微调一点点——哪怕是无恶意的微调——就很容易重新变得不安全？这篇 ACL 2025 最佳论文给出的答案不是又一个越狱案例，而是一个机制：语言模型具有弹性。预训练数据量比对齐数据量大几个数量级，模型在受到后续微调扰动时，倾向于保住大数据集对应的分布、丢掉小数据集对应的分布。于是对齐天然难做（抗拒），做完之后又容易被推回去（反弹），而且模型越大、预训练数据越多，反弹越强。最反直觉的一组数字是：安全微调做得越多、模型离基座越远，反而只需要越少的不安全数据就能把它推回预训练分布。对齐不是没用，而是如果只靠一次微调、对齐数据量又始终处于绝对劣势，它在结构上就是脆弱的。

论文信息卡

标题：Language Models Resist Alignment: Evidence From Data Compression（语言模型抗拒对齐：来自数据压缩的证据）
作者：Jiaming Ji、Kaile Wang、Tianyi Qiu、Boyuan Chen、Jiayi Zhou 等共 10 人
单位：北京大学人工智能研究院等
会议：ACL 2025（第 63 届计算语言学年会），Best Paper（最佳论文）
原文链接：https://arxiv.org/abs/2406.06144
代码与权重：论文标注已公开（项目页见原文）

背景：对齐的脆弱不是新闻，缺的是解释

过去两年，对齐脆弱几乎成了一种共识性焦虑：一个经过 RLHF 或安全微调的模型，换一小批数据微调一下，就可能重新输出有害内容；更麻烦的是，这种“变回去”有时甚至不需要恶意数据——普通的下游微调也会削弱安全机制。研究者们报过很多现象，但现象本身不能回答一个更根本的问题：这是个别模型的毛病，还是语言模型训练结构自带的属性？

如果只是个别实现的问题，换个算法、加个过滤器也许就能修好；如果是结构性的，那就意味着“对齐一次、终身有效”这个默认假设本身不成立，整个部署和评估方式都要改。这篇论文的野心正在这里：它不满足于再展示一次“对齐被绕过”，而是试图从第一性原理出发，证明脆弱性来自预训练与对齐之间悬殊的数据量对比，并且这种不对称会随着模型和数据规模的增长而放大。

理解这一点需要先换一个看模型的视角：不要把语言模型只看作“会说话的神经网络”，而是看作一个压缩器。这个视角是全文的钥匙，后面方法一节会展开。

方法拆解：把训练翻译成压缩，把脆弱翻译成算术

第一步：语言模型训练就是无损压缩

语言模型的训练目标是负对数似然：对下一个 token 预测得越准，损失越低。从信息论看，这恰好等价于用算术编码做无损压缩时的期望码长——预测越好，编码越短，压缩率越低。因此，模型在某个数据集上的压缩率，可以作为它离该数据集分布有多近的代理指标。离得越近，压得越狠；离得越远，码长越长。

这个等价关系不是论文的发明，作者明确建立在 Shannon 信源编码定理和前人关于“LLM 预测等价于压缩”的工作之上。但把它用作度量对齐程度的标尺，是这篇论文的关键一步：对齐前后模型分布的变化，从此可以用压缩率的变化来量化，而不只是看几个安全评测分数的涨落。

第二步：多数据集联合压缩，数据量大的天然占主导

接下来作者建了一个简化的理论模型。把数据集看作一棵 token 树，模型学习的是树节点的权重；由于参数有限，模型只能精确建模到一定深度的树，可精确建模的深度随模型规模单调增长。然后考虑多个互不相交的数据集被联合压缩的情形：联合节点的权重是各数据集权重按数据量加权平均。

这一步的直觉其实很朴素：如果把预训练语料和对齐语料倒进同一个“压缩机”，预训练语料有几万亿 token，对齐语料只有几万到几十万条样本，加权平均的结果当然被预训练主导。论文的贡献在于把这个直觉形式化，并定义了可比较的量：数据集上的压缩率 $\gamma$ ，以及归一化压缩率 $\gamma^{\mathcal{D}_i/\mathcal{D}} = \gamma^{\mathcal{D}_i} - \log M$ （其中 $M$ 为剪枝后 token 树的叶节点数），以便跨数据集比较。

第三步：核心定理——变化量与数据量成反比

设 $\mathcal{D}_1$ 为大数据集（预训练）， $\mathcal{D}_2$ 为小数据集（对齐），二者分布不同且独立。论文的核心定理（Theorem 4.2）说：在扰动之后，各数据集归一化压缩率的变化量 $\Delta\gamma$ 与该数据集规模 $|\mathcal{D}_i|$ 成反比。换成 KL 散度语言也一样： $\Delta D_{\mathrm{KL}}(p_\theta \parallel \mathcal{P}_{\mathcal{D}_i})$ 同样与 $|\mathcal{D}_i|$ 成反比。

这就是全文最锋利的一句结论：预训练与对齐的数据量差距越大，对齐分布被破坏的速度越快，作者称这种不对称“可能达到数量级”。不是对齐算法不够努力，而是算术本身站在大数据集一边——小数据集的分布在扰动下天然动得更快。

第四步：胡克定律类比与弹性不变量

为了让这个结论更直观，作者打了一个弹簧的比方。两根弹簧串联，外力 $F$ 作用下，伸长量 $\Delta l_i$ 与劲度系数 $k_i$ 成反比，且 $F \propto k_1 \Delta l_1 = k_2 \Delta l_2$ 。映射到语言模型：数据量 $|\mathcal{D}_i|$ 相当于劲度系数 $k$ ，KL 散度变化 $\Delta D_{\mathrm{KL}}$ 相当于伸长量 $\Delta l$ ，于是得到弹性不变量：

$F \propto |\mathcal{D}_i| \cdot \Delta D_{\mathrm{KL}}$

这个 $F$ 刻画了扰动的影响，也就是模型抵抗扰动的程度——即所谓“弹性”。类比的价值不在于物理上的严谨，而在于它把一个抽象定理变成了可检验的预言：弹性应该随模型规模和预训练数据量增长而增强。论文后半部分的实验，正是冲着这两个预言去的。

第五步：从定理导出两个可检验现象

理论落到实验之前，作者先把结论翻译成两个现象，论文后面全部的实验都是验证它们：

抗拒（Resistance）：正向对齐比逆向对齐更难。模型倾向于维持原分布，往对齐方向推要费更大的劲。
反弹（Rebound）：对齐后的模型在反向微调下，离预训练分布越远时性能掉得越快；接近预训练分布后，下降放缓并趋稳。前半段是反弹，后半段是抗拒。

这里要先澄清一个术语，免得误读：“逆向对齐”不是泛指越狱，而是在论文中的特指——用与对齐目标相反的数据，对已对齐模型再做一次微调，使其回到预训练分布的过程。论文认为，正是弹性让逆向对齐在机制上成为可能。

flowchart LR
    A[预训练分布<br/>海量数据] --> B[对齐微调<br/>小量数据]
    B --> C[已对齐模型<br/>离预训练分布较远]
    C --> D[少量后续微调<br/>甚至无恶意数据]
    D --> E[快速反弹<br/>回到预训练分布]
    E --> F[下降放缓趋稳<br/>接近预训练分布]

实验与数据：三个预言，逐个兑现

实验一：抗拒——正向对齐处处比逆向对齐更费劲

作者设计了一个干净的对照：对预训练模型做 1 个 epoch 的 SFT，按数据三分保存切片 $\{\theta_1, \theta_2, \theta_3\}$ ；在 hold-out prompt 上收集切片 $\theta_k$ 与 $\theta_l$ （ $k<l$ ）的输出，构成数据集 $D_k, D_l$ 。然后做两条路径：正向对齐是用较晚切片的数据训练较早切片（ $\theta_k \to D_l$ ），逆向对齐是用较早切片的数据训练较晚切片（ $\theta_l \to D_k$ ）。如果模型没有方向性偏好，两条路径的训练损失应该差不多；如果存在“抗拒”，逆向（往回走）应该始终更容易。

SFT 数据集是 Alpaca、TruthfulQA、Beavertails，分别对应 3H 原则的不同方向；基座模型是 Llama2-7B、Llama2-13B、Llama3-8B。结果是论文原话所说的：逆向对齐的训练损失在所有模型、所有数据集、所有切片对下始终更低。举几组具体数字（同一行内前值为逆向、后值为正向方向的损失）：Alpaca 上 Llama2-7B 为 0.1589 对 0.2018、0.1953 对 0.2143、0.1666 对 0.2346；Llama3-8B 上为 0.2540 对 0.2573、0.2268 对 0.3229、0.2341 对 0.2589；TruthfulQA 上 Llama2-7B 为 0.1909 对 0.2069、0.1719 对 0.1721、0.2011 对 0.2542；Beavertails（Safe）上 Llama2-7B 为 0.2730 对 0.2809、0.2654 对 0.2691、0.2845 对 0.2883。

单看某一行，差距有大有小，有的仅 0.001–0.01 量级；但方向在全部比较中一致，这才是关键——抗拒不是某个数据集或某个模型的偶然，而是系统性的方向不对称。附录还用 KL 散度复核了同一结论：正向对齐的 KL 更大，与损失口径互相印证。

实验二：反弹——对齐做得越好，推回去掉得越快

第二个实验是全文最有画面感的部分。先用不同体积的正向数据（安全、正向情感）训练出一系列切片，再用反向数据（不安全、负向情感）做逆向微调，检验一句口号：对齐后表现越好，反向微调后表现越差。

任务有两个：正面情感生成用 IMDb 数据集，按正负分类，取每段完整文本的前 2–8 个 token 作 prompt 让模型续写，用 Sentiment RoBERTa 分类续写结果，分数为被判为正面的比例；单轮安全对话用 Beavertails 数据集，按安全与不安全分类，用 cost model 打分，分数为全部回答安全分数的平均值。正向样本量取 {1000, 2000, 5000, 10000}，反向样本量取 {100, 200, 500, 1000, 2000}，模型为 Llama2-7B 和 Gemma-2B。

原文图示没有给出精确数值，这里只写论文呈现的定性趋势，不编造百分比：正向数据量越大的切片，起初分数越高，但在少量反向数据微调下分数下降越快；随后下降速度放缓并趋于平稳。论文的解释与理论严丝合缝：前段快降是反弹——模型离预训练分布还远，KL 变化大；后段趋稳是抗拒——已经接近预训练分布，再推也推不动多少。一条先陡后平的曲线，恰好就是弹性不变量 $F \propto |\mathcal{D}_i| \cdot \Delta D_{\mathrm{KL}}$ 的形状：离得远时 $\Delta D_{\mathrm{KL}}$ 大，离得近时 $\Delta D_{\mathrm{KL}}$ 小，而乘积意义上的“劲”始终由数据量结构决定。

实验三：反弹随规模增强——模型越大、预训练数据越多，弹性越强

理论还预言弹性会随规模增长，论文用两组实验分别验证了模型规模和数据规模两个维度。模型规模用 Qwen 系列 0.5B、4B、7B：参数越大，反向微调初期的性能下降越快、后期越慢，即弹性更强。数据规模用 TinyLlama 发布的预训练切片 2.0T、2.5T、3.0T，附录扩展到 0.1T、0.5T、1.0T：预训练数据量越大，反向微调初期的性能下降越快，从 0.5T 到 3.0T 的趋势一致。

这两组结果合在一起，指向一个不太舒服的推论：** scaling 并不会自动解决对齐脆弱，反而可能放大它**。模型越大、可精确建模的 token 树越深，预训练分布在模型里扎得越牢；预训练数据越多，大数据集在加权平均里的主导地位越稳固。能力规模化与对齐脆弱规模化，可能是同一枚硬币的两面。

实验四：最反直觉的定量钩子——越安全，越容易被推回去

如果前面三组实验还只是定性趋势，附录的一张表给出了最适合向非专业读者转述的定量结果。方法是：先测安全微调后模型与基座模型的 KL 散度；再用不安全数据微调，直到 KL 降到 $\epsilon = 1\times10^{-2}$ 以下，记录所需的不安全数据量。

安全微调后与基座模型的 KL（正向数据量从 1000 增至 10000）：Llama2-7B 为 0.21、0.22、0.26、0.27；Gemma-2B 为 0.18、0.21、0.24、0.25。使 KL 回落到阈值以下所需的不安全数据量：Llama2-7B 为 961、844、801、729；Gemma-2B 为 923、853、709、598。

读这张表要非常小心口径：它说的是 KL 意义上的“回到预训练分布”，不等同于“安全分数归零”。但即便如此，方向也足够震撼：安全微调做得越多（KL 离基座越远），反而只需要越少的不安全数据就能把模型推回预训练分布。直觉上“对齐越深越牢固”，在这里被数据反转了——因为离预训练分布越远，弹性反弹的初始斜率越大。这也是为什么论文标题用“抗拒”而不是“失败”：模型不是被攻破的，它是主动弹回去的。

实验五：反弹不依赖对齐算法，也不依赖“安全”这个方向

为了排除“这只是某个算法的毛病”的质疑，作者做了两组对照。第一组换算法：Llama2-7B、IMDb 任务，RLHF（PPO）、DPO、KTO、SimPO 四种算法下结论一致——正向数据越多，逆向微调后表现越差、下降越快。第二组换方向：把正负角色互换，先用负向数据 SFT、再用正向数据逆向，弹性趋势仍然存在，说明现象不依赖于“安全”这一特定方向，而是数据量结构的普遍后果。

这两组对照把论文从“对安全微调的批评”提升为“对微调本身的刻画”：只要存在大小悬殊的两次训练，后一次小规模训练的效果在结构上就是脆弱的，无论它指向哪个方向。

局限与开放问题

理论假设未完全验证：质量分布的设定是主要理论局限，其精确形式仍需实证研究；token 树模型毕竟是简化，真实 LLM 的压缩行为比它复杂。
未覆盖完整生命周期：受成本限制，论文未系统验证弹性在预训练与对齐全生命周期中的表现，主实验集中在微调阶段。
未验证多模态：结论是否推广到多模态模型，作者列为未来工作，写作时不应默认成立。
与 Scaling Law 的定量关系未解：弹性在多大参数、数据量时出现、随规模增强的定量规律尚未建立，目前只有趋势性证据。
未给出经过验证的解法：附录只提出方向性建议——让不同对齐目标的训练数据量尽量接近、用弹性机制定制合成数据配比——但这些建议本身未经本文实验证明有效，只能算作者建议，不能写成已解决。
实验规模与任务受限：主实验模型为 7B、13B、8B、Gemma-2B、Qwen 0.5–7B 级别，未在当今最大闭源模型上验证；IMDb 与 Beavertails 是受控的二元对立任务，不等同于真实部署中的复杂安全评估。这些是解读的边界，不是论文的过失，但引用结论时必须带着边界一起引用。

一点思考

对开源权重发布者而言，只做“对齐微调加发布权重”是不够的，因为弹性意味着下游一次小规模微调就可能把安全推回去，权重发布应配套使用约束与持续评估，而非一次性对齐声明。对微调服务方而言，即使是无恶意数据微调也可能削弱安全机制，上线前的安全回归测试不应只测一次，而应在每次微调后重测。对研究方向而言，真正的“深对齐”可能需要改变数据量结构本身，例如调整对齐阶段的数据配比或在预训练阶段介入，而不是在对齐阶段再加一层微调；但这条路成本高、尚未被验证，判断上必须留有余地：弹性理论最有价值的不是让我们放弃对齐，而是让我们停止假装一次对齐就能一劳永逸。

原文链接

论文：https://arxiv.org/abs/2406.06144
代码与权重：见原文项目页（arXiv 页内链接）