2025年RAG已死？2026年做上下文工程？

---

写在前面

2025年即将过去,作为一名深耕RAG技术的算法工程师,我想和大家聊聊这一年RAG技术的真实状态——不是那些震惊体标题下的"RAG已死",也不是各种PPT里的宏大叙事,而是我在实际落地中观察到的技术演进、踩过的坑,以及对2026年的真实判断。

这篇文章,既是对过去一年的复盘,也是给自己和同行的一些提醒:技术本身没有对错,关键在于是否用对了地方。

一、2025年RAG:从狂热到冷静

1.1 数据会说话

先看一组数据:

但论文数量的爆发,并不等于技术的成熟。事实上,2025年RAG领域呈现出一种成熟与分化并存的状态——基础设施趋于稳定,技术创新却开始放缓。

1.2 开源框架的大浪淘沙

年初的时候,GitHub上RAG相关的开源项目有35个之多,到年末,真正活跃的不超过10个,而被广泛使用的只有3-5个。

这种收敛形成了一个有趣的三层金字塔:

• 底层(面向开发者): LangChain、AutoGen、等底层框架,灵活但学习成本高
• 中层(面向工程师): RAGFlow、MaxKB等,平衡了易用性和可定制性
• 顶层(面向业务): Dify、Coze等低代码平台,上手快但容易遇到性能瓶颈

我的观察是:大部分团队选择了Dify/Coze,但80%的团队会在3个月内遇到性能瓶颈。为什么?因为RAG的优化高度依赖具体业务场景,而这些平台的抽象层限制了你深入优化的能力。

1.3 一个经典的问题:二开还是重写?

这是我今年被问得最多的问题。我的答案很简单:

如果你只是做demo或简单场景,用开源框架。如果你要做生产级系统,认真考虑从头开发核心模块。

原因有三:

1. RAG本质上是模块化的 - 文档解析、分块、检索、重排、生成,每个模块都可以独立优化
2. 业务差异巨大 - 金融文档、法律合同、技术手册,每种场景的最优方案完全不同
3. LLM代码能力飞跃 - 2025年,Claude 4.5、GPT-5等模型已经能生成很高质量的RAG代码,从头开发的成本大幅降低

当然,这需要你对RAG的原理有深入理解。但如果你打算长期做这个方向,这个投入是值得的。

---

二、技术演进:从暴力堆叠到理性回归

2.1 技术发展的三个阶段

回顾RAG的发展,可以清晰地划分为三个阶段:

第一阶段(2020-2022):基础RAG时代

最简单的"检索+生成"流水线:向量检索Top-K文档,拼接后扔给LLM。问题很明显:检索和生成完全解耦,检索到的内容不一定是LLM真正需要的。

第二阶段(2023-2024):增强RAG时代

各种tricks层出不穷:Query改写、HyDE、混合检索、重排序、迭代检索…这个阶段产生了LangChain、LlamaIndex等框架,降低了开发门槛。

第三阶段(2024-2025):前沿探索期出现了四大方向:

• 模块化RAG - 乐高式组装各种组件
• GraphRAG - 引入图结构建立实体关系
• AgenticRAG - 让LLM自主决策检索策略
• 多模态RAG - 处理图像、视频等非文本数据

2.2 GraphRAG:高开低走的典型案例

今年最热的概念之一就是GraphRAG。微软发布后,各种论文、开源项目井喷。但用下来发现,ROI真的不高。

为什么GraphRAG没火起来?

1. Token消耗巨大 - 实体抽取、关系建立、社区摘要,Token成本是普通RAG的5-10倍
2. 图谱质量堪忧 - 自动抽取的实体关系充满噪声,远不如人工构建的知识图谱
3. 维护成本高 - 文档一更新,图谱就要重建,这个成本在生产环境难以接受

我的判断:GraphRAG适合那些需要跨文档、多跳推理的复杂场景,但对于80%的常规问答,朴素RAG+好的文档解析就够了。

不过GraphRAG的思想是对的——预先建立关联,降低检索时的认知负担。只是当前的实现方式太粗暴了。

2.3 AgenticRAG:理想很丰满,现实很骨感

AgenticRAG的思路是:让LLM自己决策什么时候检索、检索什么、如何利用检索结果。听起来很美好,但有两个大问题:

1. Token成本 - 每次决策都要调用LLM,成本是传统RAG的3-5倍
2. 稳定性 - LLM的决策能力还不够可靠,经常做出错误判断

我的建议:对于复杂任务,Agentic思路是对的,但可以用简化版——预定义几种检索策略,用轻量级分类器选择,而不是每次都让LLM深度思考。

2.4 长上下文会取代RAG吗?

这是今年另一个热门争论。Claude 3支持200K上下文,GPT-4 Turbo支持128K,很多人说RAG要死了。

我的答案:长上下文和RAG不是替代关系,而是互补。

长上下文的问题:

1. 成本 - 处理100K上下文的成本是RAG的20-100倍
2. Lost in the Middle - 信息太多,模型注意力会分散,答案质量反而下降
3. 实时性 - 每次都处理全量文档,延迟不可接受

最佳实践:

• 文档<1000页 + 深度理解场景 → 长上下文
• 文档>10000页 + 精准检索场景 → RAG
• 混合场景 → RAG初筛 + 长上下文精读

---

三、从RAG到Context Engine:定位的转变

3.1 2025年最重要的认知升级

如果说2025年RAG领域有什么最重要的认知升级,那就是:**RAG的本质不是"检索增强生成",而是"上下文工程"**。

这个认知的转变,源于AI Agent的兴起。

3.2 Agent需要的三类上下文

一个能干活的Agent,需要精心组装三类上下文:

1. 领域知识(Knowledge)

• 企业内部文档、产品手册、历史案例
• 这就是传统RAG的强项

2. 工具描述(Tools)

• API文档、函数说明、调用示例
• 当工具数量>100个,如何选择成为大问题

3. 交互历史(Memory)

• 对话历史、用户偏好、任务状态
• 本质也是一种检索问题

关键洞察:这三类数据的管理,本质上都是检索问题。RAG的技术栈(向量索引、混合检索、重排序)可以完美复用。

3.3 MCP只是开始,真正的挑战是检索

2024年底Anthropic推出MCP(Model Context Protocol),今年很多人在喊"MCP凉了"。其实是搞错了对象。

MCP解决的是"如何调用"的连通性问题,但没有解决"调用哪个"的决策问题。

当企业有500个API可以调用时,你不可能把500个工具的描述都塞进prompt。这时候你需要什么?工具检索(Tool Retrieval)[10]。

根据当前任务,动态检索最相关的3-5个工具,这才是实用的方案。

3.4 Memory就是特殊的RAG

今年Memory也火了一把,很多人把它和RAG对立起来。但本质上:Memory就是对会话历史的RAG。

上下文工程概念图

• 数据来源不同 - RAG处理静态文档,Memory处理动态对话
• 技术栈相同 - 都是存储、索引、检索
• 目标互补 - 一个提供领域知识,一个提供个性化上下文

所以不要纠结用RAG还是Memory,统一到"Context Engine"的框架下思考。

3.5 Context Platform:下一个基础设施

Theory Ventures的投资人早在2024年就提出了"Context Platform"的概念[13][14][15]。

核心思想:上下文的创建、管理、交付应该是一个平台化的能力,而不是每个应用各自实现。

这个判断我深度认同。2026年,谁能把Context做成平台级产品,谁就占据了AI应用的核心基础设施。

---

四、多模态RAG:雷声大,雨点小

4.1 为什么多模态RAG还没起来?

我在去年的总结中预测多模态RAG会在2025年爆发,但现实是:雷声大,雨点小。

理论上,多模态RAG很有价值:

• 医疗文献中的图表
• 设计文档中的示意图
• 视频中的关键帧

工程上,有两大拦路虎:

1. Token爆炸 - 用ColPali处理一页PDF,生成1024个token,每个token 128维,一页就要500KB存储。百万页文档库需要TB级索引。
2. 检索效果 - 纯文本向量检索已经很成熟,但图文混合检索的效果还不够稳定。

4.2 两条可行的路径

要突破这个瓶颈,有两条路:

路径1:量化压缩

• 把float32降到int4甚至二值化,存储压缩32倍
• 关键是要训练对量化鲁棒的embedding模型

路径2:Token剪枝

• 从1024个token降到128个
• 用attention机制自动选择最重要的token

4.3 我的判断

2026年多模态RAG会有突破,但真正大规模应用要到2027年。

原因:

1. 基础设施(向量数据库、检索引擎)对张量的支持还在完善
2. 专门为检索优化的多模态模型还在研发阶段
3. 成本需要继续降低

但方向是对的,值得持续关注。

---

五、真实案例:企业怎么用RAG?

5.1 我看到的失败案例

今年也看到不少失败案例,典型的有三类:

类型1:过度追求新技术

• 上来就要GraphRAG,结果成本控制不住
• 建议:先把朴素RAG做到80分,再考虑升级

类型2:数据质量差

• 文档解析错误连篇,检索再准也没用
• 建议:投入50%精力在数据清洗和解析上

类型3:缺少产品设计

• 把RAG当黑盒,没有做用户反馈闭环
• 建议:像做产品一样做RAG,持续迭代

---

六、当前的五大挑战

6.1 成本:大多数团队的第一痛点

现状:

• 向量数据库存储成本高
• LLM调用成本高(特别是多轮对话)
• 多模态更是成本杀手

可行的优化:

• 增量索引,不要每次全量重建
• 冷热数据分层存储
• 小模型做初筛,大模型做精排
• 缓存高频query的结果

6.2 实时性:金融/安防场景的硬需求

问题:

• 检索+生成通常需要2-5秒
• 某些场景需要毫秒级响应

解决方案:

• 预检索缓存
• 流式生成(先给部分答案)
• GPU加速向量检索
• HNSW等近似检索算法

6.3 语义鸿沟:多模态的老大难

问题:

• 用户问"悲伤的场景",系统怎么从视频里找?
• 文本和图像的语义对齐很难

解决方案:

• 用VLM(如GPT-4V)做细粒度理解
• 离线时给视觉内容打丰富的标签
• 收集反馈,持续优化匹配模型

6.4 幻觉:信任度的致命伤

问题:

• 即使检索到正确文档,LLM也可能胡说八道
• 用户一旦发现错误,信任度归零

解决方案:

• 强制引用来源(带文档位置和页码)
• 用小模型验证答案和文档的一致性
• 训练时用检索文档做监督信号

6.5 隐私:企业的红线

问题:

• 敏感数据不能上云
• 需要细粒度权限控制

解决方案:

• 本地化部署
• 数据脱敏+全程加密
• 完整的审计日志

---

七、2026年:我看到的六大趋势

7.1 智能体RAG成为标配

判断依据:

• LangChain已经all in Agentic
• 复杂任务确实需要多步规划

但要注意:

• 不是所有场景都需要Agentic
• 简单场景用规则+轻量级LLM就够了

7.2 长上下文和RAG深度融合

不是替代,而是协同:

• RAG做粗筛(从10万文档筛到10篇)
• 长上下文做精读(深度理解这10篇)

7.3 垂直领域RAG涌现

通用RAG的问题:

• 无法处理领域特有的逻辑
• 评估指标不适配具体场景

垂直化的价值:

• 医疗RAG:集成医学知识图谱,理解诊断逻辑
• 法律RAG:内置法条检索和案例分析
• 金融RAG:实时接入市场数据

**我的建议:**如果你的领域文档有明显特征(如法律条文的层级结构),不要用通用方案,定制开发ROI更高。

7.4 端到端训练进入工程实践

现状:

• 检索器和生成器分别训练,可能目标不一致

RAG 2.0的思路:

• 联合训练,直接优化最终答案质量
• 检索器学习"生成器喜欢什么样的文档"

2026年的突破点:

• 更多开源的端到端训练框架
• 小数据量下也能有效训练的方法

7.5 Context Platform成为基础设施

我最看好的方向:

• 不是某个RAG框架,而是统一的上下文管理平台
• 就像数据仓库之于BI,Context Platform之于AI应用

谁有机会:

• RAGFlow这类深耕底层引擎的
• 云厂商(如AWS、阿里云)推的托管服务
• 新兴的专注Context的创业公司

7.6 标准化和互操作性提升

当前的痛点:

• 向量数据库格式不兼容
• Embedding模型互相替换困难
• 评估指标各说各话

2026年的进展:

• OpenAI、Anthropic等大厂会推动标准
• 更多benchmark的出现
• 框架间的互操作性增强

---

八、给开发者的七条建议

建议1:拥抱模块化

不要把RAG当黑盒,理解每个模块的作用:

• Parser(文档解析)
• Chunker(分块策略)
• Retriever(检索器)
• Reranker(重排序)
• Generator(生成器)

这样你才能针对性优化。

建议2:从简单开始

反对一上来就上GraphRAG/AgenticRAG的冲动。

正确的路径:

1. 基础RAG(Faiss + Llama 3.1)
2. 加入重排序(BGE Reranker)
3. 优化chunking策略
4. 根据场景决定是否升级

建议3:重视数据质量

好的RAG = 30%技术 + 70%数据

时间分配建议:

• 50%: 文档清洗和解析
• 30%: 评估和调优
• 20%: 技术选型和开发

建议4:建立评估体系

不只是demo能跑就行,要有系统的评估:

检索层面:

• Precision@K / Recall@K
• MRR(Mean Reciprocal Rank)

生成层面:

• 答案准确性(人工评估)
• 引用质量(是否引用了正确文档)
• 幻觉率

业务层面:

• 响应时间
• 用户满意度
• 人工介入率

建议5:做好监控和迭代

RAG不是一次性工程,是持续迭代的系统。

必须的监控:

• 每个query的检索结果
• 生成答案的质量评分
• 用户反馈(点赞/点踩)
• 异常case(答非所问、拒答、幻觉)

每周review一次bad case,找规律,针对性优化。

建议6:不要忽视产品设计

技术只是手段,用户体验才是目的。

产品层面要考虑:

• 什么情况下触发检索?
• 如何展示来源文档?
• 答案不确定时如何处理?
• 如何收集用户反馈?

我看到的最好的RAG产品,都在这些细节上下了功夫。

建议7:安全和合规前置

不要等上线了再考虑安全问题。

设计阶段就要明确:

• 哪些数据可以索引?
• 如何做权限控制?
• 如何审计访问记录?
• 如何应对数据泄露?

对于金融、医疗等强监管行业,这些是必答题。

---

九、我的核心观点:回归本质

9.1 技术无罪,用错了才是问题

我经常听到"RAG已死"、"GraphRAG不work"这样的声音。但问题不在技术本身,在于:

1. 用错了场景 - 简单问答非要用GraphRAG
2. 数据质量差 - 垃圾进垃圾出
3. 过度追求新技术 - 基础没打好就想上天

技术只是工具,关键是理解你的业务需求,选择合适的工具。

9.2 不要面向RAG做业务

这是我想强调的最重要的一点:

不要面向RAG做业务,而是面向业务做RAG。

什么意思?

• ❌ 错误:我们有RAG技术,能做什么业务?
• ✅ 正确:我们要解决XX问题,RAG是不是最优解?

很多失败的案例,就是为了用RAG而用RAG。结果发现:

• 简单的FAQ,规则系统就够了
• 复杂的分析任务,RAG解决不了核心问题

9.3 论文和落地是两回事

今年看了大量RAG论文,很多都很fancy。但:论文的意义是探索边界,不是给你直接落地的。

论文的价值:

• 告诉你某个方向是否可行
• 提供一种解决问题的思路
• 帮助你理解技术的上限

但论文通常:

• 只在特定数据集上有效
• 忽略了工程成本
• 没有考虑实际约束

所以看论文要学思路,不要照搬代码。

9.4 简单往往更有效

这是我今年最深的感悟:

在80%的场景下,朴素RAG + 好的数据 + 精细的产品设计,比复杂的技术方案更有效。

为什么?

1. 简单系统更稳定 - 环节少,出错的地方就少
2. 简单系统更好调试 - 出了问题容易定位
3. 简单系统成本更低 - 开发快,维护容易

GraphRAG、AgenticRAG这些,只在你确实遇到瓶颈时才考虑。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】