引言：一次失败的“All in LLM”实验

去年，某头部信息流平台进行了一次激进的实验：尝试用一个大语言模型（LLM）完全替换其精排层的深度模型。核心逻辑是：既然LLM能理解一切，那么理解用户和内容，并预测点击，应该不在话下。

结果：线上A/B测试仅运行了4小时就被紧急叫停。核心指标：虽然内容相关性评分（人工评估）略有提升，但点击率（CTR）暴跌15%，千次展示收入（RPM）下降22%，更致命的是，服务端P99延迟从80毫秒飙升至1200毫秒，成本激增数十倍。

这次代价高昂的实验，深刻地揭示了一个被技术热潮所掩盖的真相：大模型与推荐/广告系统，本质上是两种范式，强行替代必然导致系统崩溃。 今天，我们就来系统拆解这背后的底层逻辑，并找到将大模型从“颠覆者”转变为“赋能者”的正确姿势。

第一章：认知重塑——为什么大模型接不了广告推荐的“瓷器活”？

在考虑“如何用”之前，必须先明确“为什么不能乱用”。以下是来自真实生产环境验证的三大核心矛盾。

1.1 性能与成本的“不可能三角”

广告与推荐是互联网领域性能最敏感的系统之一。

• 理论铺垫：用户的一次刷新，背后是召回、粗排、精排、重排、混排等多个链路的毫秒级协同。任何一环的延迟膨胀，都会直接导致用户体验下滑和收入损失。
• 实战数据：在亿级日活的产品中，精排服务P99延迟要求通常严苛在100毫秒以内。而当前，一次千亿参数LLM的API调用，即使经过大量优化，其延迟也很难稳定低于500毫秒。
• 一句话总结：大模型是“慢思考”系统，推荐/广告是“快反应”系统，范式冲突决定了LLM无法成为实时推理的主引擎。

1.2 任务目标的根本性错配

这是最核心的认知差异。

• 理论铺垫：推荐系统的核心任务是行为预测（点击率、完播率、转化率），其“燃料”是海量的用户隐式反馈行为（点击、停留、滑动）。它不追求“理解”内容，而是学习“用户A在看了内容B后的行为序列C”这一概率模式。
• 对比分析：大模型的核心能力是内容理解与生成。它通过对海量文本的学习，掌握了丰富的语义知识，但它不具备、也无法实时建模用户瞬息万变的兴趣状态。
• 真实案例：一个用户深夜突然开始刷育儿视频。传统推荐系统通过实时更新的用户行为Embedding，能在几分钟内捕捉到这一“兴趣漂移”。而一个静态的、基于用户历史文本画像的LLM，完全无法感知这种基于实时行为的微妙变化。
• 一句话总结：推荐系统猜的是“行为”，大模型懂的是“语义”。一个依赖动态信号，一个依赖静态知识，这是本质区别。

1.3 广告系统的“确定性”铁律

广告系统在“精准”之上，还有更复杂的约束，与大模型的“非确定性”天性严重冲突。

• 理论铺垫：广告投放必须遵循预算消耗、频次控制、人群定向等多种强约束。系统需要绝对可控、可解释、可回溯的决策逻辑。
• 风险分析：大模型的输出具有一定随机性，且决策过程是“黑盒”。让它直接决定广告出价和排序，可能导致预算在短时间内被非目标人群耗光，或频次控制失效，引发客诉。
• 一句话总结：广告系统要求100%的确定性控制，而大模型的“幻觉”与不可解释性在此是致命缺陷，因此绝不能进入核心决策链路。

第二章：正确定位——大模型在推荐系统中的三大“高价值”场景

既然不能做主脑，那大模型的价值何在？答案是：成为增强系统感知与决策智慧的“智囊层”。以下是三个经真实项目验证的高赋能场景。

2.1 场景一：冷启动加速器 —— 破解“数据荒地”难题

冷启动（用户/物品初始状态）是推荐系统的经典难题。传统方法依赖泛化或试探，效率低下。

• 理论铺垫：利用大模型的深度语义理解能力，为新用户或新内容生成高质量的初始化向量或标签，从而快速将他们接入现有的推荐网络。
• 实战案例（生产环境验证）：某内容平台针对新发布的短视频，使用以下流水线加速冷启动：

1. 视频理解：通过多模态大模型（或ASR+CV分析），提取视频的抽象语义标签，如“治愈系Vlog”、“硬核知识科普-3分钟”、“悬疑剧情反转”。
2. 向量映射：将这些语义标签，与平台上已有海量视频的语义向量库（可离线用大模型Embedding生成）进行匹配。
3. 流量分发：将新视频临时关联到语义最相似的、历史表现优秀的“老视频”集群上，共享其初始流量池。

• 操作步骤：

1. 离线构建全库内容的大模型语义向量索引。
2. 新内容入库时，实时调用大模型服务生成其语义向量/标签。
3. 通过向量检索，找到最相似的Top-N个高热度内容。
4. 在冷启动期，将新内容与相似内容的受众进行部分重合投放。

• 避坑要点：大模型生成的标签需与业务标签体系对齐，且仅用于冷启动阶段。一旦积累真实行为数据，应立即切换至基于行为的Embedding模型。
• 一句话总结：用大模型的“知识”为冷启动对象“伪造”一个高质量的初始身份，使其快速融入系统。

2.2 场景二：策略调控中枢 —— 让推荐拥有“情商”

传统推荐模型往往优化单一目标（如CTR），缺乏全局、动态的策略调整能力。

• 理论铺垫：大模型可以分析用户当前会话的上下文、历史行为序列，甚至结合时间、地点等信息，输出策略指令，指导底层排序模型调整权重。
• 实战案例（生产环境验证）：某资讯App利用大模型实现动态策略调控：
  • 场景识别：用户连续快速划走10条娱乐新闻。大模型分析此序列后，判断用户可能处于“信息焦虑”或“寻求深度内容”状态。
  • 策略生成：大模型输出指令：{"strategy": "increase_weight", "target": "depth_score", "duration": "next_10_feeds"}（提升接下来10条feed的“内容深度”权重）。
  • 系统执行：精排模型接收到此指令，在计算最终分数时，临时调高“内容深度”特征的权重，从而在候选池中筛选出更优质的深度分析文章进行推荐。

• 操作步骤：

1.  定义一套机器可读的策略指令集（如调节多样性、控制节奏、平衡商业内容等）。
2. 在推荐链路上游，部署轻量级的大模型服务，实时分析用户近期行为。
3. 将大模型输出的策略指令，作为一路特征输入精排模型，或直接干预重排逻辑。

• 避坑要点：策略指令需平滑生效，避免体验突变。需建立指令效果的回流评估机制，实现闭环优化。
• 一句话总结：让大模型担任“策略指挥官”，基于复杂情境做出柔性判断，而让“快”模型忠实执行具体的排序计算。

2.3 场景三：跨模态理解器 —— 打通兴趣的“巴别塔”

用户喜欢一个视频，可能是因为它的“节奏感”或“叙事风格”，但这些抽象特质难以迁移到图文、电商等其他模态。

• 理论铺垫：大模型具备强大的跨模态语义对齐能力，可以将不同模态的内容映射到统一的语义空间，实现兴趣的深度泛化。
• 实战案例（生产环境验证）：某大型电商平台希望将用户在短视频平台的兴趣迁移过来。        ​

1. 兴趣解析：获得用户授权后，使用大模型分析其喜欢的短视频，提炼出跨模态可迁移的兴趣点，如“极简主义设计”、“户外露营技巧”、“黑科技评测”。
2. 商品匹配：将这些兴趣点转化为查询词，在其商品知识图谱（商品标题、详情、评论已用同大模型处理为向量）中进行检索。
3. 效果：相比于传统的“看视频推相似视频”或“基于类目”的粗暴迁移，此方法实现了“因为喜欢A视频的风格，所以推荐B商品”的深度转化，新客首购转化率提升8%。

• 操作步骤：

1. 使用统一的多模态大模型，将站内所有内容（图文、视频、商品）转化为共享语义空间的向量。
2. 在获得外部数据授权的前提下，用同一模型解析外部兴趣内容。
3. 通过向量相似度计算，实现跨模态的精准兴趣匹配。

• 一句话总结：大模型是打破数据模态壁垒的“翻译官”，能挖掘并迁移用户深层的、抽象的偏好。

第三章：架构实现——分层融合，而非全盘替换

基于以上场景，一个稳健的、融合大模型的推荐系统架构应运而生。

[ 感知与决策层 (大模型 - “智囊”) ]
        ↓
1. 理解用户搜索词/评论真实意图 --> 生成/修正 用户短期兴趣向量
2. 分析会话上下文，输出动态策略指令 (如“增加多样性”)
3. 处理新内容，生成冷启动语义向量/标签
        ↓
[ 核心计算层 (传统模型 - “四肢”) ]
        ↓
1. 召回： 基于用户实时行为向量快速检索
2. 精排： 接收大模型提供的语义向量、策略指令作为特征，进行毫秒级CTR/CVR预测
3. 重排/混排： 执行多样性、商业规则等硬约束
        ↓
[ 最终推荐列表 ]

核心原则：大模型位于决策上游和数据处理侧，提供增强的“特征”和“策略”；高并发、低延迟的实时预测任务，仍由传统的深度模型、树模型等高效架构承担。

第四章：在广告系统中的特殊考量与安全边界

广告系统对稳定性、公平性和可控性的要求达到了极致。大模型的融合必须更加谨慎。

• 安全边界：大模型的活动范围应严格限定在投放前的离线阶段与投放后的分析阶段。
• 核心应用：

1. 创意生成：批量生成广告文案、图片，经过人工或自动化审核后，进入传统投放系统。
2. 人群洞察：分析历史投放数据，生成潜在人群包描述，供广告主参考选择。
3. 投放分析：自然语言查询广告效果，如“对比一下上周和这周游戏类目的ROI”。

• 红线警示：绝对禁止让大模型直接参与实时的出价计算、预算分配和竞价决策。

第五章：工程化落地的关键细节

5.1 Embedding的融合之道

• 双塔结构：用户塔仍使用轻量、高效的行为Embedding模型；物品塔可以升级为“行为Embedding + 大模型语义Embedding”的融合向量。两者在精排层进行交互。
• 降维与蒸馏：直接使用原始的大模型Embedding（通常为1536/3072维）维度太高。务必通过PCA或训练一个蒸馏模型，将其压缩至与行为Embedding相近的维度（如128/256维），以减少线上计算和存储压力。

5.2 效果评估与迭代

建立专门的评估体系，量化大模型模块的价值：

• 冷启动评估：对比使用大模型语义向量前后，新内容7日累积曝光/互动率的提升。
• 策略调控评估：通过A/B测试，对比开启策略调控模块后，用户停留时长、留存率等长期指标的变化。
• 成本监控：严密监控引入大模型服务带来的额外延迟与计算成本，确保其投入产出比（ROI）健康。

---

写在最后：大模型不是来“替代”推荐与广告系统的银弹，而是为其装上“大脑皮层”的增强外挂。真正的竞争力，来自于对业务本质的深刻理解（行为预测），与对新技术的理性应用（语义理解）之间的巧妙平衡。

希望这份源自真实战场复盘与架构思考的指南，能为你带来启发。

评论区聊聊：

1. 你在尝试将大模型应用于推荐或广告场景时，遇到的最大技术或工程挑战是什么？
2. 对于文中提到的“行为Embedding”与“语义Embedding”的融合，你有什么实践经验或不同的架构设想？
3. 除了冷启动和策略调控，你认为大模型在广告推荐链路中还有哪些潜在的高价值“辅助位”？