Tag: neural-scaling-laws
All the articles with the tag "neural-scaling-laws".
-
模型越大损失越小，凭什么？叠加给出了一个几何答案
NeurIPS 2025 最佳论文提名：MIT 团队用 Anthropic 的叠加玩具模型证明，强叠加下模型损失稳定按 1/m 下降、几乎不依赖数据分布，而真实大模型的语言模型头重叠量也确实服从 1/m，拟合指数 0.91。
All the articles with the tag "neural-scaling-laws".
NeurIPS 2025 最佳论文提名：MIT 团队用 Anthropic 的叠加玩具模型证明，强叠加下模型损失稳定按 1/m 下降、几乎不依赖数据分布，而真实大模型的语言模型头重叠量也确实服从 1/m，拟合指数 0.91。