千层网络的涌现：NeurIPS 2025 最佳论文让强化学习告别「浅层宿命」

TL;DR

强化学习有个「祖传」偏见：网络做深了没用。过去十年做连续控制的论文，清一色用 2–5 层的浅 MLP，加深要么训崩、要么没收益，大家默认「RL 的稀疏反馈养不起大模型」。NeurIPS 2025 最佳论文《1000 Layer Networks for Self-Supervised RL》把这个偏见连根拔起：作者把最简单的自监督 RL 算法（Contrastive RL）装上残差结构（Dense+LayerNorm+Swish），网络一路堆到 1024 层——性能相对 4 层基线提升 2–50 倍（机械臂操作 2–5 倍、长程迷宫 20 倍以上、类人形机器人 50 倍以上），在 10 个任务中的 8 个上超过 SAC、TD3 等所有主流基线。更震撼的是临界深度现象：性能不是平滑增长，而是在某个深度处突然跳变——4 层的智能体只会瘫倒在地把自己「扔」向目标，16 层突然学会直立行走，256 层甚至学会了前空翻越过迷宫高墙这种「杂技」。论文的论点很锋利：RL 不是不能 scale，是之前用的算法和数据配不上 scale；换成自监督的对比目标，深度就是 RL 的 scaling law。

论文信息卡

标题：1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities（千层网络做自监督强化学习：扩展深度可以解锁新的目标达成能力）
作者：Kevin Wang、Ishaan Javali（普林斯顿大学）、Michał Bortkiewicz（华沙理工大学）、Tomasz Trzciński（华沙理工大学 / Tooploox / IDEAS 研究院）、Benjamin Eysenbach（普林斯顿大学）
会议：NeurIPS 2025，Best Paper Award（最佳论文奖）
原文链接：https://arxiv.org/abs/2503.14858（2025 年 3 月提交，v5 为最新修订版）
开源：项目页 https://wang-kevin3290.github.io/scaling-crl/（代码与演示视频）

背景：RL 的「浅层宿命」是怎么来的

语言和视觉早就进入「大力出奇迹」时代：Llama 3、Stable Diffusion 3 动辄几百层，模型过某个临界规模就会突然「开窍」（Wei 等人 2022 年的涌现能力研究）。但强化学习一直是个异类——做连续控制（机械臂、机器人）的论文，网络常年停留在 2–5 层 MLP。不是大家不想做大，而是做大了没用：2024 年几篇 scaling 相关的工作都报告过，加深带来的收益很小甚至为负，大家只能加宽网络凑合。

这个「浅层宿命」背后有一套自洽的理论：RL 的反馈信号太稀疏了——智能体可能要跑几百步才拿到一个奖励，「反馈比特数 / 参数量」的比例极低，养不起大模型。LeCun 2016 年就断言：大 AI 系统必须主要靠自监督训练，RL 只能拿来做微调。这套话术在之后十年里几乎成了行业共识，RL 的 scaling 研究也因此长期停滞。

但这篇论文指出了共识里的一个漏洞：「RL」和「自监督」不是对立的。把目标条件化（goal-conditioned）和对比学习拼起来，RL 本身就可以是自监督的——智能体不需要任何奖励函数和演示，自己探索、自己给自己定目标、自己学会到达目标。Eysenbach 等人 2022 年提出的 Contrastive RL（CRL）就是这么一个极简的自监督 RL 算法。论文的第一步，就是选它当「底盘」。

方法拆解：三块积木拼出「可扩展的 RL」

论文的方法没有发明新算法，而是把三块已有的积木拼到一起，证明拼好了就能 scale。主菜是这三块积木为什么缺一不可。

积木一：自监督的目标——Contrastive RL

CRL 是一个 actor-critic 算法，但 critic 的训练方式很「自监督」。Critic 由两个编码器组成：状态-动作编码器 $\phi(s,a)$ 和目标编码器 $\psi(g)$ ，critic 的输出就是两个 embedding 的欧氏距离：

$f_{\phi,\psi}(s,a,g) = \|\phi(s,a) - \psi(g)\|_2$

训练用 InfoNCE 对比目标：从同一条轨迹里采 $(s_i, a_i, g_i)$ （ $g_i$ 是这条轨迹未来的某个状态）当正样本，从随机轨迹里采 $g_j$ 当负样本，让模型学会判断「这个状态-动作对，是不是通往这个目标的同一条路上」。策略 $\pi_\theta(a|s,g)$ 则被训练去最大化 critic——说白了就是「往让 critic 觉得离目标更近的方向走」。

为什么这很关键？论文附录的对照实验给出了答案：TD 类方法（SAC、SAC+HER、TD3+HER）把网络加深到 4 层以上就饱和了，加深零收益甚至负收益——之前「深度无用」的结论，很大程度上是在 TD 算法上测出来的。而 CRL 的 InfoNCE 本质上是个分类目标（判断正负样本），论文指出这和 NLP 里 cross-entropy 之于 scaling 的成功是同一个故事：分类目标比回归目标更适合 scale。Farebrother 等人 2024 年的 “Stop Regressing”（把值函数训练改成分类）是同一条路上的第二块证据。

积木二：数据——GPU 加速仿真

大模型要吃大算力，RL 的「数据」就是仿真步数。论文站在 JaxGCRL（Bortkiewicz 等人 2024）的肩膀上——基于 Brax/MJX 的 GPU 加速仿真框架，让在线 RL 能以极高的吞吐量采集经验。没有这块积木，深网络根本喂不饱。这是工程上的必要条件，论文没有过度渲染，但缺了它后面全是空谈。

积木三：架构——残差 + LayerNorm + Swish，堆到 1024 层

这是论文最「体力活」的部分。作者把 ResNet 那套搬进 actor 和 critic：每个残差块由 4 个重复单元组成（Dense → LayerNorm → Swish），残差连接加在块的最后输出上。论文定义的「深度」= 所有残差块的 Dense 层总数（块数 ×4）。基线是前人常用的 4 层 MLP，实验一路做到 8、16、32、64，最后在最难的 Humanoid 迷宫上推到 256 和 1024 层。

flowchart LR
    SIM["GPU 加速仿真<br/>Brax / MJX<br/>海量在线经验"] --> BUF["Replay Buffer"]
    BUF --> CRL["Contrastive RL<br/>φ(s,a) vs ψ(g)<br/>InfoNCE 对比目标"]
    CRL --> ARCH["残差架构<br/>Dense+LayerNorm+Swish ×4/块<br/>深度 = 4N，最高 1024 层"]
    ARCH --> POL["涌现策略<br/>直立行走 / 翻墙杂技"]

评测设置：稀疏奖励（只有到达目标附近才给 r=1），指标是 1000 步里有多少步待在目标附近，取训练最后 5 个 epoch 的平均。任务覆盖 locomotion（Ant、Humanoid）、navigation（迷宫）、manipulation（机械臂推物）。

实验与数据：深度就是 RL 的 scaling law

结果一：2–50 倍的提升，8/10 任务刷到 SOTA

相对 4 层基线：机械臂操作任务提升 2–5 倍，长程迷宫（Ant U4-Maze、U5-Maze）20 倍以上，类人形任务 50 倍以上；一半的环境提升超过 20 倍。横向对比 SAC、SAC+HER、TD3+HER、GCBC、GCSL 等目标条件基线，放大的 CRL 在 10 个任务里 8 个拿第一，把 goal-conditioned RL 的 SOTA 往前推了一大截。唯一的例外是 Humanoid 迷宫上 SAC 前期样本效率更高，但 CRL 最终追平。

结果二：临界深度——性能「跳变」，行为「涌现」

全文最漂亮的一组图：性能随深度不是平滑增长，而是在临界深度处突然跳变。Ant Big Maze 的临界深度是 8 层，Humanoid U-Maze 是 64 层，1024 层处还有跳变。作者把各深度的策略可视化，发现跳变对应着质的不同：

4 层：智能体直接瘫倒，把自己「扔」向目标（能动就行）；
16 层：突然学会直立行走走向目标；
64 层：在 U-Maze 里被中间的墙卡住，挣扎倒地；
256 层：学会「杂技」——身体前折借力翻墙而过，或摆成坐姿从障碍物上「蠕动」过去。论文称这是第一个在类人形目标条件任务上记录到这类行为的工作。

这和 LLM 的「涌现能力」叙事几乎一模一样：规模过临界点，行为质变。

结果三：深度 > 宽度，而且更省参数

前人都在加宽，这篇证明加深更划算：Humanoid 上，把宽度拉到 2048（深度 4）还不如把深度翻倍到 8（宽度 256）。深度优势随观测维度升高而变大（Humanoid 268 维 > Ant 迷宫 29 维 > 机械臂 17 维）。参数账更夸张：4 层×2048 宽 ≈ 3500 万参数，32 层×256 宽 ≈ 200 万参数——17 倍的参数差距，深而窄的反而更强。在固定算力预算下，深度是更高效的 scaling 轴。

结果四：三个「反常识」的消融

Actor 也要一起加深。前人发现只加深 critic、加深 actor 会掉点；这篇发现 critic 加深在 Humanoid/机械臂上更有效，Ant Big Maze 上 actor 加深更有效，两个一起加是互补的——之前的「actor 不能加深」可能是浅层时代的假象。
深网络解锁了 batch size scaling。浅 CRL 加大 batch 几乎没用；深度从 4→64 后，大 batch 开始带来额外提升——小模型吃不下大 batch，不是 batch 没用。
1024 层的代价：在 Humanoid U-Maze 上 256→1024 层继续显著提升，但 1024 层时 actor 的 loss 在训练初期爆炸，作者只好把 actor 固定在 512 层、两个 critic 编码器用 1024 层。千层之上，训练稳定性是下一个要啃的骨头。

结果五：为什么是深度在起作用——三组机制实验

论文没有停留在「数字好看」，而是做了三组漂亮的机制拆解：

表征更懂拓扑：可视化 critic 的 Q 值，4 层网络只会看「欧氏距离」——隔着一堵墙也觉得起点附近 Q 值高；64 层网络的 Q 值沿着迷宫内侧边缘向目标递减，学会了迷宫的拓扑结构。
探索 × 表达力的解耦：设计「采集器 + 深/浅两个学习者」三网络并行实验——学习者只从采集器的共享 buffer 里学，数据分布相同。深采集器（探索好）时深学习者大胜，证明表达力是真贡献；浅采集器（探索差）时深浅学习者一起烂，证明探索是必要条件。结论：深度的好处 = 更好的探索 × 更强的表达力，两者相乘。
经验拼接：只在「起点-目标距离 ≤3 个单位」的数据上训练，测试时要求跨越 6 个单位的 U-Maze（测试对训练时从没见过）。4 层只能解最简单的目标，64 层能解最难的——深网络把短片段拼接成了长程规划。

另外两个诚实但「不好看」的结果：TD 基线加深确实没用（佐证「算法是关键」）；离线（offline）CRL 上加深基本无效，OGBench 上 4 层基线经常就是最好的——在线探索带来的数据红利，离线 setting 吃不到，这是明确的未来工作。

局限与开放问题

算力代价：1024 层 + GPU 仿真的训练成本巨大，actor 在 1024 层还出现 loss 爆炸（论文未披露具体算力开销）。
离线失效：离线 CRL 上深度 scaling 基本无效，在线探索的数据红利无法迁移。
只验证了仿真任务：locomotion / navigation / manipulation 全是仿真环境，真实机器人上的 sim2real 未验证。
只测了 CRL 家族：GCBC 这类简单自监督算法也能从深度受益，但 PPO/SAC 等主流在线算法是否成立未知。
开放问题：1024 层之后还有没有收益？分布式训练、剪枝、蒸馏能不能把成本打下来？深度和「世界模型」结合会怎样？

一点思考

这篇论文最打动我的不是 50 倍这个数字，而是它把 RL 圈「深度无用」的共识证伪了——之前十年的「常识」，可能只是在错误的算法（TD 回归）上测出来的假阴性。实操层面，如果你在做机器人或具身智能，结论很直接：别再死守 4 层 MLP 了，换成对比式的自监督目标 + 残差深网络，深度优先于宽度。我的判断是：这会是具身智能 scaling 的起点——当 LLM 的 scaling law 在语言上见顶，下一片「大力出奇迹」的处女地很可能就是能自己采集数据的 RL。但也要冷静：离线失效和 1024 层的 loss 爆炸说明这套 recipe 还很脆，它证明的是「此路可通」，不是「此路已通」。

原文链接

论文：https://arxiv.org/abs/2503.14858
HTML 全文：https://arxiv.org/html/2503.14858
项目页（含演示视频）：https://wang-kevin3290.github.io/scaling-crl/
NeurIPS 2025 获奖介绍：https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/