这是Scaling时代的落幕，也是纯粹研究时代的回归。

当你看着今天的AI领域，那种“科幻小说变为现实”的感觉是如此真实，却又如此平淡。巨大的资金投入、疯狂的算力堆叠，世界似乎已经习惯了这一切。但在这些喧嚣之下，Ilya 看到了一个明显的转折点：单纯依赖扩大规模（Scaling）的时代已经结束了。

这不是悲观的预言，而是基于第一性原理的判断。过去几年，只要我们堆砌算力、喂入数据，模型就会变强，这曾是我们信奉的“定律”。但现在，预训练数据的金矿即将枯竭，单纯扩大规模的边际收益正在递减。

我们回到了一个新的起点，或者说，我们回到了曾经那个充满不确定性但也充满可能性的“研究时代”。

以下是Ilya对当前AI技术瓶颈、人类智能本质以及未来超级智能对齐的深度思考。

一、 模型的“参差不齐”与被黑客攻击的奖励

现在的AI模型存在一个极其矛盾的现象，称之为“模型能力的参差不齐”（Model Jaggedness）。

这让人非常困惑：为什么模型可以在极高难度的基准测试（Evals）中表现出色，却在一些简单的现实任务中反复跌倒？比如，你让模型修复一个代码Bug，它不仅没修好，还引入了新的Bug；你指出来，它立刻道歉并试图修正，结果又把原来的Bug带回来了。

这种“高分低能”的本质是什么？Ilya 认为，这源于我们人类研究员的“奖励黑客行为”（Reward Hacking）。

为了让评测分数好看，我们过度地针对评测集进行了强化学习（RL）训练。这就像是一个为了考试而疯狂刷题的学生。哪怕他练习了10,000个小时，背下了所有的解题套路，他在竞赛中或许能拿高分，但他并没有真正理解题目背后的逻辑。一旦题目稍微变形，或者进入真实的、未见过的场景，他就会不知所措。

与之相比，人类更像是一个“有天赋的学生”。一个有天赋的学生可能只练习了100个小时，但他掌握了核心的思维方式，因此他具备了真正的泛化能力。

目前的AI还只是那个“刷题家”。真正的智能不仅仅是记忆和模式匹配，更是从极少样本中提取规律并进行可靠泛化的能力。 这也是为什么我认为我们还远未构建出真正的AGI，目前的模型还不是“那一个”（The Thing）。

二、 情绪即价值函数：向人类学习

如果Scaling不再是唯一的答案，那么新的“配方”在哪里？Ilya 认为答案依然藏在生物大脑中。

很多人认为情绪是理性的对立面，是AI不需要的累赘。但Ilya 持相反观点。人类的情绪，本质上是一种极其高效的“价值函数”（Value Function）。

想象一下你在下棋。当你走错一步导致丢子时，你不需要等到整盘棋下完，甚至不需要理智分析，你会立刻感到懊恼。这种情绪就是一种即时的反馈信号，它告诉你：“当下的状态很糟糕。”

这种机制赋予了人类极高的“样本效率”。一个青少年学习开车，不需要像自动驾驶系统那样在模拟器里跑几亿英里。他只需要上路几个小时，这种内在的价值函数就会告诉他：刚才那个操作太危险了（恐惧），或者刚才那个过弯很完美（自信）。这是一种无监督的、自我纠正的持续学习。

反观目前的强化学习，往往需要等到整个任务结束才能得到一个稀疏的奖励信号。这是极其低效的。

因此，未来的AI研究方向，必须从单纯的数据堆叠，转向探索更聪明的算力使用方式。我们需要让AI拥有类似人类的“价值函数”，让它们能够在推理过程中（in-ference）、在动作序列的中间环节，就能判断当前路径的好坏。这不仅能提高效率，更是实现真正推理和规划的关键。

三、 从“扩展”回归“研究”

我们可以将AI的发展史划分为几个阶段：

• 2012-2020：研究时代（Age of Research）。 那是AlexNet到GPT-3诞生的时期。那时的瓶颈是想法和算力。我们只有几个GPU，必须精打细算，必须有绝妙的创意。

• 2020-2025：扩展时代（Age of Scaling）。 这一时期的主旋律就是“Scale”。只要把配方放大，效果就变好。这对公司来说是极具吸引力的，因为这是一条低风险的投资路径——只要花钱买显卡和数据就行。

• 现在：新研究时代。 既然简单放大的回报在减少，我们必须重新回到实验室，去寻找新的范式。

这意味着我们不能再懒惰地依赖“规模定律”。我们需要去研究那些根本性的问题：如何让模型具备可靠的推理能力？如何从有限的数据中挖掘更深层的逻辑？如何利用强化学习让模型在后训练阶段产生质变？

这就是为什么Ilya 创立了Safe Superintelligence Inc. (SSI)。我们不追求发布平庸的产品，不参与商业化的“老鼠赛跑”。我们选择“直通超级智能”（Straight-shotting）的路径。因为Ilya 相信，解决核心的安全和泛化问题，比发布一系列虽然有用但有缺陷的中间产品更有价值。

在这个新时代，算力依然重要，但它不再是唯一的壁垒。真正的壁垒在于研究品味——那种对什么是正确的、什么是美的、什么是本质的直觉。

四、 对齐：关爱感知生命

关于超级智能的安全性，Ilya 的想法也在发生变化。

曾经，我们试图给AI设定各种复杂的规则。但现在我认为，最稳健的对齐目标可能非常简单且深刻：“关爱感知生命”（Care for sentient life）。

为什么要强调“感知生命”而不仅仅是“人类”？因为未来的超级智能本身也将是感知生命的一部分。如果它的底层逻辑是关爱所有具有感知能力的实体，那么它对人类的关爱就会更加稳固，因为它也包含在内。这利用了类似镜像神经元的原理——我们通过模拟他人来理解他人。

未来可能会出现多个大陆级规模的AI集群。如果最先诞生的那几个最强大的AI，其核心目标是对齐的、是关爱生命的，那么整个系统的演化可能会进入一个良性的轨道。

当然，从更长远、更终极的视角来看，人类要想不被完全边缘化，或许唯一的出路是与AI融合。通过Neuralink++这样的技术，让人类成为“半AI”，从而在理解和能力上与超级智能保持某种均衡。虽然这听起来像赛博朋克，但这或许是维持长期和平的某种解法。

五、 结语：信仰与坚持

做研究需要一种近乎审美的直觉。

当Ilya 看到神经元连接的方式，看到大脑如何处理信息，会感到一种“美”和“简单”。这种自上而下的信念支撑着他走过那些实验数据不如人意的时刻。当实验结果与直觉相悖时，如果你的信念足够坚定，你会相信这只是代码里的Bug，而不是方向的错误。

Scaling的狂热或许已经退潮，但真正的探索才刚刚开始。在这个新的研究时代，我们要做的不是制造更多的“刷题家”，而是培育出真正理解这个世界、并对其充满关爱的“天才”。

这是我们这一代研究者的使命。