RAG(检索增强生成)技术有效解决了大语言模型的知识截止和幻觉问题,通过检索外部知识增强回答准确性。其发展经历了从Naive RAG、Advanced RAG、Modular RAG到Graph RAG和Agentic RAG的演进,各阶段在检索效率、上下文理解和智能化方面不断提升。未来RAG将朝着更智能化和多元化数据处理的方向发展,成为LLM更强大的"智能助手"。

1、RAG 是什么

介绍 RAG 前,先介绍大语言模型(LLM)面临的两个问题,一是 LLM 的知识截止,二是 LLM 存在幻觉现象

1.1知识截止

LLM 训练不是实时的,而是离线训练好的。在训练过程中,使用的数据都是提前准备的,而且大多数是公开、开源的数据,这就导致了 LLM 训练后具备的知识是有范围的。换句话说,**模型知识仅限于训练数据所涵盖的知识范围,**对于新的知识(比如今天的新闻)或未训练的知识(比如未公开的数据),模型本身不具备这些知识,仅具备推理能力。

1.2 幻觉现象

幻觉现象有多种维度的解释。一方面,LLM 是一个条件概率模型,以前文作为条件的词表概率逐词生成文本,这一机制导致其可能出现**看似逻辑严谨(概率高)但其实缺乏事实依据的生成,也就是“一本正经地胡说八道”。另一方面,LLM 的训练过程,是对训练数据的知识进行压缩提炼的过程,但不是无损压缩知识,**边缘知识容易在主流知识冲击下出现扭曲,导致产生了幻觉。

打个比方,LLM 好比一个多年备战的考生,当他在做试题的时候,遇到他从没学过的新学科知识点时,就无从下笔**(知识截止);当他遇到他没掌握牢固的知识点时,就凭借模糊的记忆或真或假地编了个答案(幻觉现象)**。

1.3 RAG

而 RAG 就是一种能够有效幻觉模型知识截止和幻觉现象的方法。RAG 是检索增强生成(Retrieval-Augmented Generation)的缩写。检索增强生成,是指对大语言模型(LLM)输入进行优化,使其能够在生成响应之前引用训练数据来源之外的知识,作为回答的根据。这是一种经济高效地改进 LLM 输出的方法,让 LLM 保持相关性、准确性和实用性。

RAG系统有两个最主要的组成部分:

  • 检索(Retrieval): 查询外部数据源,例如知识库、向量数据库或者网页搜索API。常见的检索方法有全文检索、向量检索、图检索等。
  • 生成(Generation): 将检索信息提供给 LLM,生成回答。

对于大模型这个考生来说,RAG 就像参考书或者“第二个大脑”,让模型遇到没学过或者学不牢的知识点时可以翻一翻书找参考资料,提高回答问题的准确性。

2、RAG 的发展

从近年 RAG 的发展历程看,RAG 主要经历了 Naive RAG、Advanced RAG、Modular RAG、Graph RAG,以及最近热门的 Agentic RAG 几种类型的发展。

  • Naive RAG 是 RAG 最基础的实现。
  • Advanced RAG 是在 Naive RAG 的基础上,对检索前、检索、检索后分别进行优化。
  • Modular RAG 代表了主流 RAG 的工程化实现。
  • Graph RAG 利用图检索能力,让 RAG 增强 multi-hop 检索和丰富上下文。
  • Agentic RAG 利用 Agent 能力,让 RAG 有了智能化的思考分析,大大增强了检索能力。
2.1 Naive RAG

Naive RAG 是 RAG 系统的最基本实现,使用单一的全文检索或向量检索,从文档集合中检索出与 query 相关的文档,直接将检索的文档用于增强 LLM 的生成。

Naive RAG 具有几个局限性:

  • 缺乏语义理解: 全文匹配依赖词汇匹配,无法捕捉到 query 与文档之间的语义关联;向量检索受限于间接匹配,语义理解能力也不足。
  • 输出效果差: 由于缺乏对 query、文档的高级预处理、后处理,召回的文档容易包含过多或过少信息,导致最终生成的回答过于宽泛。
  • 效果优化困难: 系统过于依赖单一检索技术,未对 query、文档进行增强,导致优化局限于检索技术。

2.2 Advanced RAG

Advanced RAG 在 Naive RAG 的基础上,对检索前、检索、检索后三个阶段进行改进。

检索前 阶段,增强文档质量,比如优化章节结构、增强标题等,过滤低质量信息;优化索引结构,优化 chunk size 使得 context 粒度符合应用场景的需求;优化索引信息,对 chunk 进行提取、增强,作为 embedding 文本;对用户 query 的进行 rewriting。

检索 阶段,使用域内知识对 embedding 进行 fine-tune,或使用 llm-based embedding 模型,生成对上下文理解更准确的语义向量。

检索后 阶段,增加 reranking 提高检索文档的相关性,增加 context-compression 使提供给模型的信息更加集中。

2.3 Modular RAG

Modular RAG 是当前主流的 RAG 系统设计,将检索和生成分解为独立可复用的组件,从而实现特定域的优化和任务适应性。Modular RAG 将 RAG 系统所使用到的多种检索、存储、路由等等全部模块化,并且可以根据特定的场景,对这些模块进行重新排列,如多种检索方式的混合检索等,以取得更好的效果。

2.4 Graph RAG

Graph RAG 使用图结构来扩展传统的 RAG 系统,利用图的关系和层级结构,增强 multi-hop 推理和 context 丰富度。Graph RAG 可以生成的结果更丰富更准确,特别是对于需要关系理解的任务。

Graph RAG 具备以下局限性:

  • 高质量图数据依赖: 高质量的图数据对 Graph RAG 非常关键,如果处理出高质量的图数据有时很困难,特别是对于无结构的纯文本或标注质量不高的数据。
  • 应用的复杂性: 对于一个 RAG 系统,同时支持非结构化数据和图数据的混合检索,会增加检索系统设计和实现的复杂性。

2.5 Agentic RAG

与前面的静态 RAG 不同,Agentic RAG 使用能够动态决策和工具调用的 LLM-based agent,来解决更加复杂、实时和多域的查询。

得助于 LLM-based 的工具调用能力,Agentic RAG 能够使用更多更复杂的工具来辅助检索, 比如搜索引擎、计算器等各类以 API 形式能够访问的工具。另外 Agentic RAG 可以根据实际的检索场景动态决策, 比如决定是否进行检索、决定使用什么工具检索、评估检索到的上下文决定是否需要继续检索等等。

3、总结

RAG 特点 优点
Naive RAG - 单一索引,如TF-IDF、BM25、向量检索 - 简单,易于实现 - 缓解模型幻觉
Advanced RAG - 文档增强 - 索引优化 - query重写 - reranking - 更准确的检索 - 增强检索相关性
Modular RAG - 混合检索 - 工具、API集成 - 模块化、工程化的实现 - 更强的灵活性 - 适应更多元的场景
Graph RAG - 图结构索引 - multi-hop推理 - 基于图节点的上下文内容增强 - 关系推理能力 - 适合结构化数据
Agentic RAG - 使用LLM-based agents - 动态决策、检索 - 自动流程优化 - 更高的检索准确性 - 适合更复杂、更多域的任务

从 RAG 近年来的发展的来,未来 RAG 的发展有几个方向:

  • 智能化: 随着 LLM 应用的发展,功能越来越复杂,对 RAG 的要求也会越来越高。Agentic RAG 是这个方向的开始,未来更加智能的 RAG 才能成为 LLM 的“好搭档”。
  • 数据多元化: Graph RAG 让 RAG 有了图检索的能力,但是如何将普通文本、图数据,以及其他类型的数据比如代码、图片等等多元化的数据,兼容到一个统一的 RAG 系统里进行索引、检索、排序,未来复杂 LLM 应用将会对这个能力提出挑战。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包

  • ✅ 从零到一的 AI 学习路径图
  • ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
  • ✅ 百度/阿里专家闭门录播课
  • ✅ 大模型当下最新行业报告
  • ✅ 真实大厂面试真题
  • ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ,朋友们如果有需要 《AI大模型入门+进阶学习资源包》下方扫码获取~
在这里插入图片描述

① 全套AI大模型应用开发视频教程

(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)
在这里插入图片描述

② 大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
在这里插入图片描述

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
在这里插入图片描述

④ AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
在这里插入图片描述

⑤ 大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
在这里插入图片描述

⑥ 大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余

图片

以上资料如何领取?

在这里插入图片描述

为什么大家都在学大模型?

最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

图片

不出1年,“有AI项目经验”将成为投递简历的门槛。

风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!
在这里插入图片描述
在这里插入图片描述

这些资料真的有用吗?

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
在这里插入图片描述
在这里插入图片描述

以上全套大模型资料如何领取?

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐