家好，我是计育韬老师，经常在新华社、最高人民法院、最高人民检察院等政务融媒体以 AIGC（包括 vibe coding）作品和大家见面。今天，我想和同学们聊聊一个特别普遍的「问题」——

为什么有的 AI 新产品上线后，官方 DEMO 惊为天人，自媒体一边倒好评，但是等真的上手甚至充值后，自己并不能实现预期的效果？

很多同学非常善于 PUA 自己：或许是我没有掌握正确的科学工作流？也许是我写的提示词不够合理？甚至可能我充值得还不够多？

作为在几百款 AI 应用间日日穿梭的创作者，我的工作并不是「测评」，而是实实在在的「生产」，完成领导、甲方、读者等需求方的项目，形成落地可交付的 AIGC。因此今天，我要带你以一个新的视角重新审视这个问题。

广告营销下的 Cherry-pick

这是 AI 圈的一个专业术语，专门指各类 AI 产品发布时 DEMO 演绎的选择逻辑——多数 AI 产品对一个指定目标的实现并非一蹴而就，而是经过多次「抽卡」获得了一个或几个相对符合预期的效果，经过必然的人工后期处理最后组合亮相在发布会上，这就是行业内所谓的「cherry-pick」。

AIGC 不同于一个实体产品有确切的良品率，「抽卡」是几乎一切 AI 工具都逃不出的概率牢笼。为了营销、融资等目的，厂家官方广告频繁拼凑 cherry-pick，自然就形成了一种认知上的错觉，把「一番赏」的本质隐藏在宛如科技硬件发布会的包装下。

所以当你真正到手产品，充值付费，热血启动——cherry-pick 不再会总是幸运降临到你的头上，因而广告预期与使用体验的差距不见得是用户单方面的能力问题。

自媒体广告投放

AI 领域的自媒体目前享受着预算最充裕的增长市场福利，尤其大多数国产大厂 AI 应用的版本迭代往往伴随着规模化的流程化的自媒体矩阵投放。

这里具体是哪些产品或自媒体有高频投放我就不具体展开了，你们在字里行间其实都可以体会到。而当广告覆盖面足够大时，整个市场的舆情面就会趋向对产品有相当高的评价，间接强化了你作为用户对其预期的强烈错觉。

而有一些广告单甚至没有经过严格的测评，只是快速套用了厂商提供的物料，组合了几个简单的实践，再搭配上一个惊为天人的标题，动不动一觉醒来谁的天又塌了，这又再一定程度上加深了用户的焦虑情绪，自然进一步会让效果跑不通的用户先把遇到的操作问题归因于自己。

自媒体的测评漏洞

那么没有接广的自媒体测评就一定靠谱吗？不尽然。

目前自媒体测评存在的一个普遍问题，就是工作流根本不完整。

注意，计育韬老师说的工作流不是指仅仅从 prompt 到生成一个可见 DEMO。现实中，对于一个可交付的 AIGC 项目，首先其项目需求必然是复杂而原始的，在制作过程中，效果需要反复审核、修改、迭代……并不断循环，最后通过多重深度加工产生最后的物料，按渠道要求进行媒体分发。

而以上还只是商业场景下的普通工作流，更不要提平时计育韬老师在央媒负责的各类 AIGC 要进入「三审三校」、「生成内容安全审查」等步骤。

对比自媒体，「一键直出」、「一句话生成」等噱头性的测评风靡当下。而真正在 AIGC 领域深耕的读者肯定知道，用「一句话」测评根本无法覆盖 AI 生成的多维度评估指标，且难以规避模型缺陷与场景局限性，自媒体误以为自己实现了 0-1 的生产，其实只在 0-0.2 左右徘徊，生成结果禁不起细节推敲；而真正投入生产的 AIGC 提示词会经过反复迭代，用户才精准感受到模型的上下文窗口边界与输出可控性。更具体来说——

一句话测评易触发表层匹配，无法衡量核心质量指标：AI 生成效果需通过准确性、事实一致性、多样性等多维度指标评判，而噱头性的「一句话」提示因信息匮乏，自然让模型基于统计概率生成表层流畅的内容。比如仅用“生成一个酷炫的美术作品集网站”测试，模型输出可能为了符合流畅度指标，选择模型专家最擅长的代码类目构建网页，同时鉴于「酷炫」这种模糊抽象指令，AI 反馈更容易以超出于你预期的「有创意」方式方式呈现，而不是未遵循复杂提示词的「有问题」结果露出，这也是众所周知的「幻觉」与「创意」同源性。而网页交互设计评测需实际运行代码评估界面美观度与交互性，仅靠模糊指令生成的内容，既无法用 BERTScore 等指标量化匹配度，也没法验证其是否契合美术作品的展示调性，更多转变成一种用户自己的主观判断。

其次，这种一句话测评难以暴露上下文窗口与泛化性缺陷：大模型存在上下文窗口限制，一句话测评的短文本输入，根本触及不到模型处理长文本时的信息衰减问题。就以这两天爆火的 Gemini 新版本为例，自媒体纷纷引用其跑分参数两倍于 GPT 上下文的指标介绍，实则由于自媒体往往不在真正的高频生产环节，实验本身根本触及不到窗口极限。用两三次 prompts 对话，产生了一个看似惊为天人的效果，就赶紧整理截图，投入自媒体稿件创作中，这样的测评很容易让自媒体人自身也陷入认知误区。而计育韬老师昨天在调用 Gemini 投入具体项目时，无论 AI Studio 还是 Cursor api 场景它对于复杂纯 SVG 代码编写上，都大概只能维持仅仅约 25 轮次左右的一致性，此后就会完全遗忘最初的代码白名单、黑名单限制，重新回到「偷懒模式」构建无效项目甚至找不到迭代目标，能力上讲还远远不及 Claude 和 GPT。

一句话测评更无法验证模型的输出可控性与稳定性：可控性是 AI 产品的关键指标，涵盖输出格式一致性、规则合规性等。一句话测评如“回答用户问题”，无法检验模型是否能稳定遵循格式规范与边界约束。而详尽提示词可明确输出格式（如 XML 结构）、任务边界（如仅回答 animate 属性问题），通过多次迭代测试，能排查模型因暴露偏差导致的级联错误，比如是否会偏离指令回答无关内容甚至“串频道”去其他任务。我建议广大自媒体用真正的生产项目去测试，才能量化模型的一致性，避免因提示模糊导致输出结果波动。

最后，自媒体的简洁测评方式也无法规避生成逻辑的底层缺陷：AI 的核心是基于概率预测生成内容，而非真正理解语义。一句话提示的模糊性会让模型的概率预测倾向于生成通用化内容，掩盖其推理缺陷。而详尽提示词通过补充示例、逻辑约束等，可测试模型推理的严谨性。经反复迭代，还能发现模型是否存在过拟合导致的冗余输出，或因训练数据缺陷产生的偏见内容，这些深层问题都需要像计育韬老师这样基于具体项目开展多轮修改和验证，绝非一句话测评所能覆盖。

由此，当下用户越来越感受到产品广告的丰满和应用效果的骨感对比，加之事实上 AI 自媒体本身的营收来源主要是产品测评软广，而真正在生产端应用的技术团队大多也不可能有时间再去做自媒体，这种错觉仍然需要用户自己保持客观冷静，用真正的项目实践去验证产品。