你写的 Agent 不是“不够聪明”,而是“从结构上就不安全”。

这是我在从零实现 Agent 的第三周,得出的一个有点残酷的结论。

如果你的 Agent 没有 Reflection
那它不是“还可以优化”,而是:

迟早会失控,只是时间问题。


一、一个你可能已经见过的场景

你可能遇到过这种情况:

  • Agent 能跑

  • 输出很长

  • 逻辑看起来很完整

  • 甚至代码也“像那么回事”

但你越看越不对劲。

最后你会说一句熟悉的话:

“它在一本正经地胡说八道。”

大多数人会把锅甩给模型:

  • 模型不行

  • Prompt 不好

  • 上下文不够

但我现在越来越确定一件事:

这不是模型问题,是系统设计问题。


二、大多数 Agent,其实只是“自动续写器”

我们先把话说得直一点。

现在 90% 的 Agent,结构大概都是这样:

输入 → 思考 → 行动 → 输出

或者高级一点:

输入 → Plan → 执行 → 输出

问题只有一个:

它们一旦开始执行,就再也不会停下来问一句
“我刚才是不是做错了?”

在工程上,这意味着什么?

👉 这是一个没有反馈回路的系统。


三、没有 Reflection,本质上是“不可逆系统”

我们对比两个 Agent。

❌ 没有 Reflection 的 Agent

Think → Act → Think → Act → Think → Act → …

它有一个非常致命的特性:

第一步一旦错了,后面一定全部错。

更可怕的是:

  • LLM 极其擅长“为错误找理由”

  • 每一步都会让错误看起来更合理

  • 最终你看到的是一个“自洽的谎言”

这不是能力问题,这是结构注定的结果


四、Reflection 不是“复盘”,而是“刹车系统”

很多人以为 Reflection 是:

“让模型总结一下刚才做了什么”

这是严重误解

在 Agent 系统中,Reflection 只做一件事:

决定:系统是否允许继续执行

在我实现的 Agent Kernel 里,Reflection 的输出不是一段话,而是一个控制信号:

ControlDecision =["continue","retry","replan"]

也就是说:

  • 模型可以输出

  • 但系统不一定会执行

👉 控制权在系统,而不是在模型。


五、没有 Reflection,你一定会遇到这 3 个问题

1️⃣ 错误无法被系统“看见”

没有 Reflection:

  • 错误只是文本的一部分

  • 系统完全无感

有 Reflection:

  • 错误被写入 state

  • 错误会触发 retry / replan

这是:

文本生成 vs 状态系统 的根本区别


2️⃣ Agent 永远不知道自己“不确定”

LLM 最大的问题不是不知道,而是:

不知道自己不知道

Reflection 强迫 Agent 回答一个问题:

“我现在有资格继续往下走吗?”

这是允许 Agent 停下来 的唯一机制。


3️⃣ 你无法限制 Agent 的行为边界

没有 Reflection:

  • Agent 是一条不可中断的执行链

  • 你只能祈祷它“别跑偏”

有 Reflection:

  • 每一步都必须被系统批准

  • 行为边界是结构约束,而不是 prompt 祈愿


六、有没有 Reflection,是 Agent 的“物种分界线”

这是我写到第三周时最清晰的认知:

有没有 Reflection,不是优化问题,而是物种差异。

  • 没有 Reflection
    👉 一个连续输出的语言模型

  • 有 Reflection
    👉 一个可控制、可回退、可中断的系统

这也是为什么我现在非常反对一句话:

“Agent = Prompt + Loop”

不对。

Agent 至少应该是:

State + Control + Reflection + Failure Handling


七、一个不太好听,但很真实的结论

如果你的 Agent:

  • 无法判断当前 step 是否失败

  • 无法决定是否继续执行

  • 无法显式表达“不确定”

那它不是“还不成熟”。

而是:

从系统设计上,就一定会失控。


写在最后

Reflection 不是锦上添花,
而是 Agent 能否成为工程系统的最低门槛

如果你正在 build Agent,我强烈建议你问自己一句:

如果模型这一步错了,系统有没有能力阻止它继续往下跑?

如果答案是否定的——
那你已经知道问题出在哪里了。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐