Tag: attention-sink
All the articles with the tag "attention-sink".
-
给注意力加一道门：Qwen 团队如何用一个小改动拿下 NeurIPS 2025 最佳论文
阿里 Qwen 团队的 NeurIPS 2025 最佳论文：在 SDPA 输出后加一个简单的 sigmoid 门，让注意力获得非线性与稀疏性，MMLU 涨 2 分、训练更稳定，还顺手消灭了 attention sink。
All the articles with the tag "attention-sink".
阿里 Qwen 团队的 NeurIPS 2025 最佳论文：在 SDPA 输出后加一个简单的 sigmoid 门，让注意力获得非线性与稀疏性，MMLU 涨 2 分、训练更稳定，还顺手消灭了 attention sink。