NeurIPS 2025 的七篇获奖论文通过严谨的理论与大规模实验，揭示了大模型正在陷入思维同质化的蜂巢效应，证明了强化学习并未真正扩展模型的推理边界，同时在注意力机制、神经扩展定律及生成模型动力学上取得了物理学层面的突破。

今年的 NeurIPS 呈现出一种冷静而深邃的特质，它不再为参数量的军备竞赛欢呼，转而将手术刀对准了繁荣背后的隐忧与地基。

研究者们发现，我们引以为傲的 AI 多样性可能正在消失，所谓的推理能力提升很大程度上是概率游戏的幻觉。

与此同时，对于注意力机制的修补和强化学习深度的突破，正在为下一代架构铺平道路。

智能的同质化危机与推理能力的虚幻边界

人工智能的终极目标是创造像人类一样多元、充满意外和创造力的思维，现实却在向反方向发展。

获得 Datasets & Benchmarks Track 最佳论文奖的研究团队来自华盛顿大学与卡内基梅隆大学，他们通过构建 Infinity-Chat 数据集，揭开了一个令人不安的现象：人工蜂巢思维（Artificial Hivemind）。

https://openreview.net/forum?id=saDOrrnNTz

为了理解这一现象，需要先审视现有的评估体系。

长期以来，我们评估模型多样性的手段极其匮乏，往往局限于生成随机数或名字这种狭窄任务，或者仅仅是在同一个模型上反复采样。

这种评估掩盖了真实的问题。

研究团队构建的 Infinity-Chat 包含 26,000 个开放式用户查询，这些问题没有标准答案，覆盖了创意写作、头脑风暴等 6 大类任务。

这不仅是一个数据集，更是一面照妖镜。

通过对 70 多个主流模型的分析，一种趋同效应浮出水面。

模型内重复是第一层表现，同一个模型在不同时刻的回答高度相似，缺乏自我探索的勇气。

更严重的是模型间同质化，即便是由不同公司、不同架构训练出的顶尖模型，它们在面对开放式问题时，输出的语义嵌入距离远小于人类回答之间的距离。

这种同质化并非偶然。

研究揭示了现有奖励模型（Reward Models）和 AI 裁判的系统性缺陷。

这些自动评估工具在校准人类主观偏好方面表现糟糕，它们倾向于一种平庸的平均正确，无法欣赏个体审美和价值观的差异。

为了追求在榜单上的高分，模型正在牺牲多样性，收敛到一个狭窄的思维空间。

我们正在训练一种只会说正确废话的机器，这种单一的思维模式如果反过来通过大量生成内容影响人类，将会导致人类思想的长期贫瘠。

与蜂巢思维带来的多样性危机相呼应，清华大学团队带来的亚军论文则戳破了大模型推理能力的另一个泡沫。

https://openreview.net/forum?id=4OsgYD7em5

业界一直流传着一种信念：通过带有验证奖励的强化学习（RLVR），比如让模型做数学题，做对了给糖吃，做错了惩罚，模型就能像 AlphaGo 一样自我进化，探索出超越基座模型的新推理能力。

这篇论文用详尽的数据给这种乐观泼了一盆冷水。

研究者在数学、代码和视觉推理等多个基准上测试了多种模型和算法。

他们发现，在采样次数较少时，RLVR 训练后的模型表现确实更好。

这很容易给人一种错觉，以为模型变聪明了。

当我们将采样次数放大，观察模型潜在的能力边界时，真相显露无疑。

基座模型在大量采样下的通过率往往高于 RLVR 训练后的模型。

RLVR 并没有让模型学会它原来不会的推理模式，它所做的仅仅是压缩探索空间，让模型更倾向于输出那些在训练中被奖励过的路径。

这本质上是一种概率分布的偏移，而非能力的扩展。

RLVR 就像是一个严厉的老师，他让学生在考试中更少犯错，但并没有教会学生解开未曾见过的难题。

基座模型构成了推理能力的上限，RLVR 只是在这个上限之内优化了答题策略。

真正能够引入新推理模式的，反而是知识蒸馏，即向更强的老师学习。

这两项研究共同指向了一个事实：当前的对齐和强化学习技术，更多是在挖掘和规范已有的能力，而非创造新的智慧。

修正注意力机制与神经扩展的物理本源

在揭示危机的同时，NeurIPS 2025 也展示了架构设计上的返璞归真。

阿里云 Qwen 团队带来的最佳论文展示了对 Transformer 核心组件的精准手术。

https://openreview.net/forum?id=1b7whO4SfY

Softmax 注意力机制是现代大模型的基石，但它有一个长期被忽视的缺陷：注意力黑洞（Attention Sink）。

在传统的 Softmax 计算中，模型往往会将大量的注意力分数分配给起始 Token，即便这个 Token 没有任何实际意义。

这是因为 Softmax 强迫所有分数之和为 1，当模型在当前上下文中找不到重要信息时，它需要一个地方来倾泻这些多余的分数。

这种机制导致了计算资源的浪费，在处理超长上下文时容易引发激活值爆炸，导致训练不稳定。

研究团队提出的解决方案 Gated Attention 极其简洁。

他们在缩放点积注意力（SDPA）的输出之后，直接添加了一个特定于注意力头的 Sigmoid 门控。

这一改动在数学上引入了非线性变换，增强了模型的表达能力。

更关键的是，它引入了数据依赖的稀疏性。

Sigmoid 门控能够根据当前的查询动态地过滤掉不重要的注意力头输出。

不需要复杂的正则化，不需要繁琐的技巧，仅仅是加了一个门控，注意力黑洞自然消失。

在 3.5 万亿 Token 数据集上的大规模实验证明，这种改进让模型训练极其稳定，能够承受更大的学习率，Loss 曲线更加平滑。

在长文本外推任务中，门控机制有效抑制了噪音，性能衰减显著减缓。

这是一次工业级算力与极简算法设计的完美结合，证明了在底层架构上，简单的修正往往最有效。

以下是传统注意力机制与 Gated Attention 的对比：

如果说 Gated Attention 是对发动机的改良，那么 MIT 团队关于神经扩展定律（Neural Scaling Law）的研究则是对发动机原理的物理学解释。

https://openreview.net/forum?id=knPz7gtjPW

我们都知道模型越大越好，Loss 会随着规模增加呈幂律下降。

但这背后的微观机制一直是个黑箱。

MIT 的研究者提出了表示叠加（Representation Superposition）理论。

大模型在一个低维空间中表示了远多于其维度数量的特征。

现代大模型处于强叠加状态，所有的特征都被编码进网络，但它们之间存在几何上的重叠和干扰。

通过严密的数学推导和受控实验，研究者发现，在强叠加区域，由于向量重叠带来的干扰效应，Loss 与模型维度 呈现出稳健的倒数关系。

这一理论预测与开源大模型的实际表现以及 Chinchilla Scaling Law 高度吻合。

神经扩展定律并非某种神秘的魔法，它是高维几何中特征叠加带来的必然物理结果。

这一发现将我们对大模型的理解从经验主义推向了第一性原理，为了解模型性能的极限提供了坚实的理论坐标。

突破深度极限与生成模型的记忆时钟

强化学习（RL）在深度学习时代一直像个跛脚的巨人。

在计算机视觉和自然语言处理领域，网络深度早已突破百层甚至千层，而强化学习的主流架构却长期停留在 2 到 5 层的浅层网络。

普林斯顿大学的研究团队打破了这一魔咒。

https://openreview.net/forum?id=s0JVsx3bx1

学术界曾普遍认为，RL 的稀疏奖励信号太弱，不足以训练深层网络。

这篇获得最佳论文的研究证明，这完全是一个误解。

关键在于训练范式的转变。研究团队放弃了依赖外部奖励函数的传统路径，转而采用自监督对比强化学习范式。

智能体在一个无监督的目标条件设置中，通过对比学习最大化到达目标的似然率。

在这种新范式下，策略网络的深度成功扩展至 1024 层。

这不仅仅是数字的增加。在模拟的移动和操作任务中，1000 层网络的性能是传统浅层网络的 2 到 50 倍。

随着深度的增加，智能体涌现出了质变的行为模式，学会了更复杂的导航策略，而这一切都不需要人工设计的密集奖励。

深度（Depth）同样是强化学习扩展法则中的关键维度，只要找对目标函数，RL 同样可以深不可测。

在生成模型领域，扩散模型（Diffusion Models）的成功令人费解。

它们拥有记住所有训练数据的能力，却奇迹般地选择了生成全新的图像。

来自巴黎的研究团队揭示了隐藏在训练动力学中的两个时钟。

https://openreview.net/forum?id=BSZqpqgqM0

第一个时钟是泛化时间，这是模型开始生成高质量样本的时间点。

惊人的是，这个时间点是一个常数，不随训练数据量的增加而变化。

无论数据多少，模型学会作画的速度是一样的。

第二个时钟是记忆时间，这是模型开始过拟合、机械式记忆训练数据的时间点。

研究发现，数据越多，这个时间点来得越晚。

这解释了扩散模型为何有效。

随着训练数据量的增加，时间窗口被拉得越来越大。

在海量数据下，记忆阶段被推迟到了极远的未来。

在实际训练中，我们往往在模型到达记忆时间之前就停止了训练，或者根本就没有足够的时间跑进记忆区。

这是一种隐式的动力学正则化。

扩散模型的成功建立在数学规律之上：它利用数据规模本身作为盾牌，抵御了过拟合的侵袭。

除了这些实验科学的突破，学习理论领域也迎来了一场迟到 30 年的胜利。

直推式在线学习（Transductive Online Learning）是学习理论中的一个经典问题：如果我们预先知道所有将要出现的无标签样本序列，这对学习有多大帮助？

https://openreview.net/forum?id=EoebmBe9fG

30 年来，这个问题一直没有确切的答案。今年，四位理论计算机科学家给出了最终的判决。

预先看到无标签数据能带来二次方级别的性能提升。

研究者不仅给出了数学下界，还构造了达到这一上界的算法。

这一结果从理论上量化了无标签数据的巨大价值，为未来的半监督学习和主动学习算法提供了坚实的理论支撑。

NeurIPS 2025 的这些获奖论文告诉我们，AI 领域正在经历从炼金术到化学的转型。

我们不再满足于仅仅观察到模型能做什么，而是开始深究为什么能做，以及为什么不能做。

不管是发现蜂巢思维的局限，还是揭示 Scaling Law 的几何本质，亦或是打破 RL 的深度瓶颈，这些研究都在为 AI 建立更严谨的科学地基。

当泡沫褪去，留下的坚硬岩石，才是通往通用人工智能的真正阶梯。

参考资料：

https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/

END