RL 不是老师，只是筛子：可验证奖励强化学习为何没教会模型新推理

TL;DR

DeepSeek-R1 之后，很多人把可验证奖励强化学习（RLVR）想象成“自我进化的老师”：模型在奖励下自己摸索，像 AlphaGo 那样悟出新招。这篇 NeurIPS 2025 最佳论文亚军的结论恰恰相反：**RLVR 更像筛子，而不是老师。**它把基座模型本来就会的正确路径挑出来、放大，让第一次采样就更容易答对；但它没有教出新路径。代价是分布被收窄：采样次数足够大时，基座模型反而能解出更多题。真正扩大边界的，是蒸馏——教师带来了基座模型分布之外的路径。

论文信息卡

标题：Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
作者：Yang Yue、Zhiqi Chen、Rui Lu、Andrew Zhao、Zhaokai Wang、Shiji Song、Gao Huang
单位：清华大学 LeapLab、上海交通大学
会议：NeurIPS 2025，Best Paper Runner-Up（最佳论文亚军）
原文链接：https://arxiv.org/abs/2504.13837

背景：从 AlphaGo 的神话，到 R1 的叙事

RL 在棋盘上的成功太有说服力：AlphaGo 靠自我对弈发现了新定式。于是当 R1、o1、Kimi K1.5 用 RLVR 在数学和编程上突破时，一种联想自然形成了：既然答案可自动验证，模型就能不断自我改进、超越基座模型。但这个联想藏着一个跳跃：围棋探索产生的是棋盘上真实存在的新局面，而语言模型探索只是在已学会的语言分布里采样。更重要的是，日常评测的贪心分数只反映“平均表现”，不反映“到底会不会”——单次没做对，不等于多采几次也做不对。如果只看平均分，RLVR 的提升很容易被误读为“学会了新本事”，而实际上可能只是“更擅长在第一次就把会的拿出来”。论文要区分的正是这两件事。

方法拆解：用 pass@k 画出能力的边界

换一把尺子：从平均分换成“能解的题集”

论文不用贪心分数，而用 pass@k：一道题采样 k 次，只要有一次通过验证，就算“能解”。平均 pass@k 就是“在 k 次内能解出的题目比例”。这把尺子的判决力很强：如果 RLVR 真教出了新能力，无论 k 多大，RL 模型的能解题集都应更大；如果只在小 k 领先、大 k 被反超，那就只是采样效率的提升。

排除“蒙对答案”，再用三重证据验路径来源

数学题有个漏洞：过程错了，答案也可能蒙对。论文人工核查了平均正确率低于 5% 但大于 0 的最难题：GSM8K 上基座模型答对的 25 道里 24 道至少有一条正确思维链，RL 模型是 25 道里的 23 道，排除了“大 k 优势只是猜出来的”质疑。随后三重证据跟进：准确率分布、可解题集的包含关系、以及把 RL 输出喂给基座模型算困惑度——若基座觉得“很眼熟”，路径本来就在其分布里。论文还定义采样效率差距 $\Delta_{\text{SE}}$ （基座 $k=256$ 的 pass@k 减 RL 的 pass@1），统一衡量六种算法离“一次榨干基座潜力”还有多远。

flowchart LR
    A[基座模型<br/>能解题集] --> B[RLVR<br/>奖励=答案正确]
    B --> C[高频路径被放大<br/>pass@1 提高]
    C --> D[低频路径被挤出<br/>大 k 时覆盖收窄]
    E[蒸馏<br/>教师带来新路径] --> F[能解题集扩大]

实验与数据：小 k 赢、大 k 输，横跨三类任务

数学：32B 模型在 Minerva 上被基座反超约 9 个百分点

数学实验覆盖 Qwen2.5 的 7B、14B、32B 基座和 LLaMA-3.1-8B，对照 SimpleRL-Zoo 的 GRPO 零 RL 模型、Oat-Zero-7B、DAPO-32B，基准从 GSM8K、MATH500、Minerva、Olympiad 到 AIME24、AMC23。采样统一为温度 0.6、top-p 0.95、最长 16384 token，基座模型不用 few-shot 提示以保证公平。结果在所有基准上都是同一条交叉曲线：小 k 时 RL 领先，大 k 时基座追上并反超。Minerva 上 32B 模型在 $k=128$ 时基座比 RL 高约 9%；Oat-Zero 与 DAPO 起初高近 30%，最终仍被反超。训练集 pass@1 从 26.1 升到 42.5 的同时，pass@256 一路下降。

代码与视觉：同样的交叉曲线再次出现

代码实验用 CodeR1-Zero-Qwen2.5-7B（12K 道 LeetCode 与 TACO 样本、832 步）和 DeepCoder-14B，基准为 LiveCodeBench v5（279 道题）、HumanEval+、MBPP+。代码必须通过全部单元测试，蒙对几乎不可能，pass@k 在这里是更干净的边界度量，结论与数学完全一致。视觉实验用 EasyR1 在 Geometry3K 上训练 Qwen2.5-VL-7B，在去掉选择题后的 MathVista 与 MathVision 测试集上评测，同样得到交叉趋势，最难题人工核查也一致：基座与 RL 各答对的 8 道难题里，都有 7 道至少有一条正确思维链。

机制：RL 把“偶尔能对”推成“经常能对”，也推成“完全不对”

准确率分布揭示了机制：RLVR 后，接近 1.0 的高准确率题目变多，0.1、0.2 的低准确率题目变少，但准确率为 0 的题目反而变多。平均分上升靠前者，边界收窄正是后者造成的。可解题集的包含关系更直接：AIME24 上 RL 能解的题几乎是基座能解题的子集，代码任务亦然。困惑度检验补上最后一块拼图：RL 输出在基座模型下的困惑度，恰好落在基座自己常生成输出的低困惑度区间——这些路径对基座并不陌生，只是平时采样概率低。

六种算法都差不多，离最优还远；蒸馏是反例

在 VeRL 框架下公平重训 PPO、GRPO、Reinforce++、RLOO、ReMax、DAPO（Omni-MATH-Rule 训练 2000 条、域内测试 821 条、域外 MATH500）后，域内 $\Delta_{\text{SE}}$ 差异很小：GRPO 为 43.9，最好的 RLOO 为 42.6，且全部高于 40 个百分点。换算法解决不了根本问题，所有主流 RLVR 离“一次榨干基座潜力”都还远。反例是 DeepSeek-R1-Distill-Qwen-7B：它的 pass@k 曲线在各个 k 下都显著高于基座，因为教师的长思维链带来了基座分布之外的模式。RLVR 是在自己的分布里加权，蒸馏是从别人的分布里搬运，这是本质区别。

局限与开放问题

k 仍是代理指标：用 $k=256$ 代理上限，k 再大时均匀采样也可能偶然撞对；但基座在 $k=128$ 或 1024 这种现实规模下就已展现正确路径，结论不依赖天文数字般的采样。
未覆盖多轮智能体交互：缺乏多轮交互与有效探索，可能是 RLVR 无法产生新经验的原因；未来的 RL 范式需在此突破，本文没有验证这类范式。
超参数探索不能逆转趋势：每提示采样数从 8 提到 32、加 KL 系数 0.001、调高温度匹配基座熵，都只能轻微改善，不能逆转大 k 被反超；但“继续放大 RLVR 规模能否最终超越基座”仍是开放问题。
否定的是当前范式而非 RL 本身：论文呼吁更好的探索、持续扩展与多轮交互，而不是放弃 RL；蒸馏与 RL 如何组合最优，也未给出验证过的方案。

一点思考

做推理模型时，不要只用 pass@1 或贪心分数判断“模型是不是变聪明了”，同时报 pass@k 曲线才能看到边界有没有动。评估方也要注意：一个 RL 模型在榜单上赢了，不等于在“多采几次、总有一次对”的场景里也赢，那个场景里基座模型可能更强。我的判断是：RLVR 仍值得做，但定位要从“创造能力”降级为“放大已有能力”，真正的增量要靠蒸馏、更好的预训练或新的交互范式来补，把 RLVR 吹成自我进化的万能钥匙，是对这篇论文最应该纠正的误读。

原文链接

论文：https://arxiv.org/abs/2504.13837
项目页：https://limit-of-rlvr.github.io