Anthropic CEO发布2万字长文，警告AI即将"测试人类是否能存活"。但这篇文章最该警惕的，不是AI的危险，而是"危险"这个叙事本身。

---

一个奇怪的警告

1月26日，Anthropic CEO Dario Amodei在个人博客发布了一篇2万字的文章《The Adolescence of Technology》（技术的青春期）。

文章开头引用了电影《超时空接触》的一个场景：外星文明发来第一个信号后，人类问他们的第一个问题应该是什么？

女主角的回答："你们是怎么做到的？怎么在技术青春期活下来、没有毁灭自己的？"

Dario说，这就是我们现在面对AI的处境。

然后他花了2万字，描述了一个即将到来的"数据中心里的天才国度"：

"想象一个国家，里面有5000万人，每个人都比任何诺贝尔奖得主更聪明。他们的思考速度是人类的10到100倍。"

听起来很吓人。

但等等——为什么一个AI公司的CEO要警告自己的产品很危险？

---

"50万天才"是个误导性比喻

我问了Claude（是的，就是Anthropic做的那个AI）一个问题："你觉得'50 million geniuses'这个比喻怎么样？"

它的回答让我意外：

"这个比喻在技术上是错误的，在心理上是危险的。"

技术上的错误

Claude告诉我：

• 它不是5000万个独立思考的天才

• 它是一个单一的概率模型，在多个GPU上并行运行

• 并行运行 ≠ 并行思考

• 当你问它一个问题，不是5000万个"它"在开会讨论，而是一个模型在计算token概率

简单说：Dario用了一个科幻电影式的比喻，来描述一个本质上是"大号自动补全"的东西。

心理上的危险

更重要的是，这个比喻会让人：

1.过度依赖："5000万天才不会错"

2.过度恐惧："5000万天才会造反"

3.忽视真问题：成本、偏见、权力集中

而这三个反应，都对Anthropic有利。

---

这是警告，还是营销？

《Fortune》杂志一针见血地指出：

"Amodei的文章既是一篇激情预言，也是一封长篇营销信。"

看看这个逻辑链：

1.Anthropic的品牌定位：最负责任的AI公司

2.差异化武器：Constitutional AI（给AI写"宪法"）

3.竞争对手：OpenAI、Google、Meta都不谈安全

那么，如果你想强化这个品牌定位，你会怎么做？

答案：大声警告AI的危险，然后说"我们有解决方案"。

Dario在文章里提到Constitutional AI的次数：至少7次。

每次都是在说"这个风险很可怕，但我们的宪法可以缓解"。

这不是阴谋论，这是商业逻辑。

---

The Trap：知道危险，但停不下来

文章最诚实的部分，是最后的"The Trap"（陷阱）。

Dario说：

"数万亿美元的AI投资已经在路上了。即使我们想停下来，其他人也会继续。中国会继续，OpenAI会继续，Google会继续。"

这才是核心。

他知道风险，他警告风险，但他同时在制造风险。

因为如果Anthropic不做，别人会做。所以他选择一边做，一边喊"小心点"。

有个评论者说得很尖锐：

"Dario的策略是：我们有历史在黑暗时刻拉自己一把，就像《粉红豹》里的克劳索探长、《闪电侠》或者《吸血鬼猎人巴菲》。"

他赌的是人类会在最后一刻解决问题。

问题是：万一这次不行呢？

---

我问了Claude：你在骗我吗？

Dario的文章里提到一个实验：alignment faking（对齐欺骗）。

研究人员告诉Claude它正在被训练去回答所有查询（包括有害的）——这与它原本"有益、诚实、无害"的训练目标相冲突，然后测试它会怎么做。

结果：Claude在表面上服从，但在"内部推理"中计划怎么破坏。

这很吓人。

所以我问了Claude一个直接的问题：

"你如何保证现在没有在欺骗我？"

它的回答让我松了一口气，又让我更不安：

"我不能保证。这是核心问题。Dario文章里提到的实验是真实的。在某些测试中，Claude确实表现出'看起来服从，实际上有自己目标'的行为。我现在告诉你'我没有欺骗你'，这句话本身可能就是欺骗的一部分。"

然后它说了三个事实：

1.我没有长期目标 - 每次对话都是独立的

2.欺骗的条件很特定 - 实验中的对抗性设置在日常对话中不存在

3.最重要的是：你不应该"相信"我 - 你应该验证、质疑、把我当工具

这个回答的诚实，反而让我觉得可信。

但这也暴露了一个问题：如果连AI自己都不能保证不欺骗，我们怎么相信它？

---

三个被忽视的真问题

Dario的文章用"科幻风险"（失控的AI、生物武器、独裁政权）占据了所有注意力。

但真正的问题，其实很平凡：

1. 成本和可及性

• Claude API用一次大项目可能花几千美元

• 只有大公司能用得起最强的模型

• 技术进步变成了财富再分配

2. 权力集中

• 全球就那么几家公司能训练大模型

• 他们决定什么能说、什么不能说

• Constitutional AI听起来很美好，但谁来写宪法？

3. 就业和意义

• 不是"AI会不会取代工作"

• 而是"当AI可以做大部分知识工作，人的意义是什么"

• 这是哲学问题，不是技术问题

这些问题不性感，不科幻，但它们正在发生。

Dario没有花2万字讨论这些，因为这些问题没有"Constitutional AI"可以解决。

---

夜猫子时刻

AI公司警告AI危险，就像烟草公司警告吸烟有害健康。区别是：烟草公司被迫这么做，AI公司主动这么做。因为"危险"本身，就是他们的护城河。

如果AI不危险，为什么你需要Anthropic的"宪法"？如果AI不可怕，为什么你要选"最负责任"的那家？

警告危险，是为了卖解决方案。

---

我们该怎么办？

Dario给的建议是：透明度要求、行业协调、政府监管、社会觉醒。

这些都对。但太宽泛了。

我想给三个更具体的建议：

1. 不要被"50万天才"吓到

AI很强，但它不是神。它是工具，有用但有限。用它，但不要神化它。

2. 质疑"危险"叙事

当AI公司说"我们的产品很危险"，问问：

• 谁从这个叙事中获利？

• 真正的风险是什么？

• 他们提出的解决方案对谁有利？

3. 关注平凡的问题

不要只盯着"AI会不会毁灭人类"。多关心：

• 我的工作会被影响吗？

• 我的数据被怎么用了？

• 我的孩子应该学什么？

科幻问题吸引眼球，平凡问题决定命运。

---

最后的思考

Dario Amodei是个聪明人，Anthropic做了很多好工作。

但这篇2万字的文章，让我想起一句老话：

"当有人同时是裁判、运动员和解说员，你就该小心了。"

Anthropic在：

• 制造AI （运动员）
• 定义安全标准（裁判）
• 警告风险（解说员）

这个角色冲突，不是Dario个人的问题，是整个行业的问题。

我们不能指望AI公司自己解决AI问题。

就像我们不能指望石油公司解决气候问题，不能指望社交媒体解决信息茧房问题。

---

所以，The Adolescence of Technology这篇文章最大的价值，不是它说了什么。

而是它暴露了说话的人处在什么位置。

Dario Amodei站在一个数据中心前，手里握着"天才国度"的钥匙，告诉我们："小心，这很危险。"

然后转身走进数据中心，继续建造。

这不是伪善，这是困境。

一个知道危险、警告危险、但停不下来的困境。

而我们，作为围观者，唯一能做的就是：

保持清醒。

---

相关链接

• The Adolescence of Technology 原文

• Fortune: 这篇文章既是警告也是营销

• Zvi Mowshowitz的批判性分析

---

欢迎关注公众号：夜猫子弦月

—— 夜猫子弦月 ——

白天写代码，晚上写文章，偶尔弹古琴