TL;DR
扩散模型不是不会背诵,而是背得太慢。论文发现训练过程存在两个泾渭分明的时间尺度:大约 10 万步 SGD 之后,模型就已经能生成高质量新样本,这个学会生成的时间 基本不随训练集大小变化;但模型开始原样复现训练样本的时间 ,却随训练集大小 线性推迟。于是 之间出现一个“泛化窗口”,数据越大窗口越宽,在窗口内提前停止训练,模型就只学分布、不背样本。只有当数据量超过一个与模型表达能力相关的阈值 ,即使训到无穷久也不会背诵,那是架构本身的正则在起作用。换句话说,扩散模型泛化的第一道防线不是参数不够多,而是动力学本身:低频、通用的结构先被学会,高频、样本特异的细节要晚得多才会被啃下来。
论文信息卡
- 标题:Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training(扩散模型为何不记忆:训练中的隐式动力学正则作用)
- 作者:Tony Bonnaire、Raphaël Urfin(共同一作)、Giulio Biroli、Marc Mézard
- 单位:巴黎高等师范学院物理实验室 LPENS(ENS、PSL、CNRS 等)、博科尼大学计算科学系
- 会议:NeurIPS 2025 最佳论文(Best Paper Award)
- 原文链接:https://arxiv.org/abs/2505.17638
- 代码:https://github.com/tbonnair/Why-Diffusion-Models-Don-t-Memorize
背景
扩散模型的工作方式,粗略说就是先学一个“分数”(score):在每个噪声水平下,数据分布的对数密度的梯度方向。生成时从纯噪声出发,沿着学到的分数一步步去噪,就能回到一张像样的图。问题出在分数的定义本身:如果把训练集的经验分布原样代入,得到的“经验分数”在反向过程结束时必然把轨迹吸向某个训练样本——这在数学上是注定的,唯一的例外是数据量随维度指数增长,而这在现实中不可能。
但现实恰恰相反。Stable Diffusion、DALL·E 这类模型参数远超训练样本数,照理说背下全集绰绰有余,实际却大多生成新图;只有在训练集很小时,背诵才明显出现。过去的解释各讲了一半:有人说架构本身表达能力有限、学不出经验分数那般尖锐的形状;有人说有限学习率让优化停不下来、到不了全局最优。这些机制都存在,但论文指出,即使把它们都算进去,记忆与泛化的转变依然存在,说明还有一个更核心的机制没被讲清楚——训练动力学本身的时间结构。
这正是这篇论文要补的拼图:不是问“最终收敛到哪里”,而是问“沿途在什么时间学会了什么”。一旦把训练时间 当作自变量,记忆就不再是一个非 0 即 1 的属性,而是一场赛跑:生成能力先到,背诵能力后到,中间的时间差就是泛化得以成立的全部秘密。
方法拆解
第一步:把“背没背”变成可测量的量
论文先给记忆下一个操作性定义,避免空谈。生成 1 万张样本,对每张找它在训练集中的最近邻和次近邻,如果它离最近邻的距离不到离次近邻的三分之一(),就判定为背诵;背诵样本占比记为 。质量则用常规指标 FID,对照 1 万张测试样本计算。同时在固定噪声水平 处记录训练损失与测试损失:两者刚分叉的时刻,就是模型开始“只对训练集特殊照顾”的过拟合时刻。
这套度量组合很关键:FID 只看像不像, 只看是不是原图,两者一起才能区分“生成得好”和“背得好”;而训练/测试损失的分叉,则把生成层面的现象锚定到分数学习本身,而不只是采样运气。
第二步:在真实 U-Net 上扫数据量和模型规模
实验用 CelebA 人脸,统一转成灰度 ,训练集大小 从 128 一路扫到 32768。分数模型是标准三分辨率 U-Net,基通道宽度 取 16、32、64,对应参数量 约 100 万、400 万、1600 万;训练方式是 DDPM 预测噪声、带动量的 SGD、批量为 ,单个模型条件于扩散时间 覆盖全部噪声水平,采样用 DDIM 加速生成 1 万张。
变量设计上, 和 是两个独立旋钮:固定 扫 ,看窗口怎么变宽;固定 扫 ,看模型变大是提前学会还是提前背诵。训练时间 以 SGD 步数计,最长训到 100 万至 400 万步,个别设置甚至到 1100 万步——只有训得足够久,才能亲眼看到“先泛化、后背诵”的完整转折,而不是在半路上误以为模型永远不会背。
第三步:用可解的随机特征模型把机制算出来
数值实验只能告诉你“发生了什么”,论文的野心是算出“为什么必然如此”。为此作者退到一个可解析的玩具模型:数据服从高斯分布,分数用随机特征网络(RFNN)参数化——第一层权重随机冻结,只训练第二层权重 。这时梯度流是线性的,可以精确求解,而全部时间尺度就藏在相关矩阵 的特征值谱里:大特征值对应的方向学得快,小特征值对应的方向学得慢,时间尺度就是特征值的倒数。
作者用随机矩阵理论(高斯等价原理与复本方法两种路线互相印证)算出 的谱:在强过参数化极限下,谱分裂成两块互不重叠的部分 和 。 与数据量无关、支撑在 量级,它对应快过程,也就是 ; 的左边缘 决定慢过程,,在 时恰好是 。于是实验里看到的“一个常数、一个线性”在理论里各有归属,不再是巧合。
这个谱图像还有一个直观翻译,即谱偏置(spectral bias):经验分数可以拆成低频部分与高频部分,低频部分接近真实的总体分数、是所有样本共有的结构,神经网络先学它;高频部分是每个样本特有的尖峰与褶皱,要把它们啃下来需要等到小特征值方向慢慢松动,而这个等待时间随样本数线性增长。低噪声水平下经验分数越不规则,这种“先学共性、后啃个性”的分离就越明显。
实验与数据
两条曲线讲清的全部故事
固定 万()扫 ,所有训练轨迹都呈现相同的两段式:FID 先迅速下降,在约 10 万步处触底,这个 不随 变化;此后 FID 走平, 保持为 0,直到某个更晚的 才开始爬升。把归一化的背诵比例 对重标度时间 作图,所有 的曲线在 附近坍缩成一条——这是 最干净的证据:数据翻一倍,开始背诵的时间也翻一倍,泛化窗口随之线性变宽。
训练/测试损失讲的是同一个故事的另一面。起初两条损失几乎重合,说明学到的分数还不依赖于具体是哪批训练样本;过了临界时间,训练损失继续下降、测试损失反而上升,分叉点同样随 线性推迟。 时,即使训了 1100 万步,测试损失仍紧贴训练损失,几乎看不到过拟合。值得注意的是,分叉(过拟合)与 爬升(背诵)之间还有一段滞后:分数先开始偏向训练集,要再训一阵子,偏离才大到足以让生成样本撞回原图。
一个具体数字:同一模型,19 万步与 162 万步判若两人
论文给出一个极具画面感的对照:、 的模型,训到 19 万步时 ,测试 FID 为 35.1,生成的图旁边配的最近邻训练图只是神似而非同一张;继续训到 162 万步, 飙到 47.2%,近一半生成样本就是训练图的复刻。模型、数据、超参数全都没变,唯一变的只有训练时间——“会不会背”在这里不是模型的固有属性,而是训练时钟走到哪一格的问题。
模型变大:学得更快,背得也更快,但窗口的起点不变
扫 发现,容量越大,FID 触底越早、背诵也开始得越早,两个时间尺度都服从 、。两者同除以 ,临界数据量 (即 的那个 )在所测的三个规模上近似与 无关——窗口的开启位置不怎么随模型变大而移动,窗口的宽度则由 决定。
把这个结论画成 相图:固定 、、,分别找出恰好 的最小 ,得到三条边界;训练时间越长,边界越高,并预期在 时收敛到架构正则阈值 。于是三类区域各就其位: 很小时直接背诵; 很大时即使训到无穷也不背(架构正则);中间广阔地带靠提前停止取胜(动力学正则)。这张相图把此前文献里“架构论”与“训练论”两派统一成了一个图上的不同区域。
排除一个最自然的怀疑:不是因为样本被重复看了太多次
第一反应可能是:数据量大时,每个样本在固定步数内被看到的次数少,所以背得晚——那这只是算术,不是机制。论文用全批量实验堵住了这个漏洞:令批量 ,此时固定 下每个样本被看的次数完全相同, 依然成立。背诵推迟来自损失地貌本身随 的变化,而不是采样重复次数的会计把戏。随机特征模型的谱分析也给出同样结论: 的形状由 通过 进入,与批量大小无关。
flowchart LR
A[开始训练 τ=0] --> B[τ_gen ≈ 100K 步<br/>FID 触底,能生成新图]
B --> C{泛化窗口<br/>τ ∈ [τ_gen, τ_mem]}
C -->|提前停止| D[只学分布,不背样本]
C -->|继续训练| E[τ_mem ∝ n<br/>f_mem 开始爬升]
E --> F[训到无穷久<br/>n < n* 时背诵,n > n* 时仍泛化]
相关工作对比
在记忆问题上,学界此前有三条线,各自只解释了故事的一部分。第一条是经验观测线:Carlini 等人从 Stable Diffusion、DALL·E 中实测提取出训练图像,Gu 等人系统考察了数据分布、模型配置与训练流程对记忆的影响——它们确立了“小数据易背诵”这个现象,但没有给出时间结构。第二条是架构与优化线:Kadkhodaie 等人证明几何自适应的谐波表示让扩散模型泛化,另有工作指出有限学习率本身就能阻止模型学到经验分数——这些是真实存在的正则,但论文表明,即使它们都在场,记忆-泛化的转变依然由动力学时间尺度主导。第三条是理论线:George 等人用同一随机特征模型算出了 时的训练/测试损失与记忆阈值 ,Biroli 等人则刻画了经验分数假设下的生成动力学——它们回答了“终点在哪”,而本文补上的是“沿途何时到达”。
本文的增量正在于把“终点”与“沿途”接起来:无限时间的结果是相图的上边界,有限时间的动力学则在相图内部划出一条随 移动的边界;早停不是启发式技巧,而是谱结构决定的、随 线性变宽的必然窗口。把早停从“调参经验”提升为“可计算的相”,是这篇论文相对前人的关键一步。
局限与开放问题
- 优化器:主实验用 SGD,而工业界扩散模型大多用 Adam。附录在合成数据上验证 Adam 下两个时间尺度依然存在,但步数少得多;不同优化器如何平移 与 ,仍待系统刻画。
- 模型规模:U-Net 只扫了 100 万至 1600 万参数,远小于实际文生图模型; 与 无关的结论只在这一小段规模上验证,完整相图仍需更大规模实验。
- 理论模型过于干净:随机特征分析依赖高斯数据、tanh 激活与冻结一层,真实数据是混合分布、流形结构与结构化架构,谱图像能否原样搬过去尚未证明。
- 度量本身: 用 最近邻比值与 阈值定义,灰度小图上的结论推广到高分辨率、文本条件生成时,阈值与语义层面的“背诵”都需要重新校准。
- 未触及的维度:数据去重、条件提示词的触发作用、采样器选择对背诵的影响,都不在本文的解释范围内,实际系统的记忆风险仍需多层防线。
一点思考
这篇论文最值得带走的不是“早停”这个老建议,而是早停背后的定价:泛化窗口的宽度与数据量成正比,所以数据规模本身就是一种安全预算——数据翻倍,容错时间也翻倍。反过来,拿小数据集微调扩散模型、又习惯性地“训到收敛”是最危险的组合,19 万步与 162 万步之间从 0% 到 47.2% 的翻转就是明证。对实践者而言,监控 曲线与训练/测试损失分叉点,比只看 FID 更能守住底线;而对研究者而言,这篇最佳论文的真正启示是:生成模型的泛化理论不能只看终点,训练时钟本身就是理论的一部分。