RAG 工作机制详解——一个高质量知识库背后的技术全流程

你是不是想做一个靠谱的知识客服,或者搭建一个能回答问题的知识库?那你一定绕不开一项技术——RAG。它的全称是 Retrieval-Augmented Generation,翻译过来就是“检索增强生成”。听起来挺高大上,但说白了就两件事:先从资料库里检索相关的内容,再基于这些内容生成答案。先检索、再生成,所以叫做检索增强生成。

RAG 是目前最常用的 AI 问答方案之一,很多企业内的知识助手、智能客服用的都是这项技术。在本视频里,我将为你介绍 RAG 的实现原理,主要包括三个部分:

1. 总体看一下 RAG 的使用场景和大致流程,让你对这门技术有个感性的了解;
2. 逐步拆解流程里的每一个环节,深入理解它的原理;
3. 最后从提问前和提问后两个角度出发,复盘整个流程的运行过程,加深理解。

在这个过程中,我还会解释 RAG 用到的各种专业名词,比如向量、embedding 模型、向量数据库、向量相似度等等。相信看完之后,你就会明白一个高质量的智能客服或知识库是如何构建的。好,话不多说,让我们赶快开始。

目录

一、为什么需要 RAG

假设你想做一个智能客服,可以回答各种关于你们公司产品的问题,应该怎么实现呢?

首先,这个客服的内部一定要有个模型,比如 GPT-4o、DeepSeek 这种。不过光有个模型可不够,因为模型不知道你们公司的产品信息。

你想,这个问题好办:在给模型发送问题的时候,把产品手册一起发给模型不就好了?没错,这确实是一个解决方案。不过,如果产品手册的字数特别多,比如有上百页乃至上千页,就会带来很多问题:

1. 模型可能无法读取所有内容。每个模型都只能存储一定量的信息,我们通常称这个量为“上下文窗口大小”。如果产品手册字数过多、超过了上下文窗口,模型就会读了后面、忘了前面,回答的准确率无法得到保障。
2. 模型的推理成本会很高。输入越多,成本越高。每次回答问题都要带上一本厚厚的手册,成本可想而知。
3. 模型的推理速度也会受到影响。输入越多,模型需要消化的内容就越多,输出就越慢。一本上百页的手册扔进来,大概率会对模型的推理速度产生严重影响。

看来直接把整个文档丢给模型是行不通的。那我们是不是可以考虑,只把文档中相关的内容发给模型呢?可以的——这就需要 RAG 登场了。

RAG 会把文档切分为多个片段。当用户提出问题后,我们就用这个问题在所有片段中寻找相关内容。比如在一份上百页的产品手册中,可能只有三个片段真正与用户的问题相关,我们就把这三个片段单独挑出来,连同用户的问题一起发给大模型。这样模型只会感知三个相关的片段,而不是整个文档,之前的问题也就迎刃而解了。

是的,RAG 就是这样了,是不是很简单?不过话说回来,这只是一个过度简化的流程,我隐藏了很多实现细节:比如如何分片、如何选择相关的片段,这里面的学问都不少。下面我们把整个 RAG 的流程具体拆分一下。

二、RAG 的整体流程

通常来说,RAG 的整体流程包含两个部分:

1. 数据准备部分:发生在用户提问前。我们要在这个部分里把相关的文档都准备好,并完成相应的预处理。它包含两个环节:分片和索引。
2. 回答部分:发生在用户提问之后。用户问完问题,便会触发回答问题的各个环节:召回、重排和生成。

接下来我们就逐步拆解分片、索引、召回、重排和生成这 5 个环节,看看它们分别是如何工作的。

三、五个环节逐一拆解

1. 分片

分片,顾名思义,就是把文档切分成多个片段。分片的方式有很多种:可以按照字数来分,比如 1000 个字一个片段;按照段落来分,比如一个段落一个片段;或者按照章节分、按照页码分。除此之外还有很多切分方式,但不管怎么做,最后都需要把一篇文档切分为多份。切好后,这个环节就结束了。

2. 索引

下一个环节是索引:通过 embedding 将每一个片段文本转换为向量,然后将片段文本和对应向量都存储在向量数据库中的过程。没错,它一共只有这两步,但这两个步骤包含的信息量其实是巨大的。

什么是 embedding?什么是向量数据库?可能什么是向量,你也记不清楚了。别急,我们先把这三个概念解释清楚,再回来看索引这个流程,相信你就会清楚很多。

(1)向量

向量是数学里的一个概念,相信大家多多少少都学过。从概念上讲,它代表一个有大小、有方向的量,通常可以用一个数组来表示。每个向量都有维度,维度的大小就等于数组中数字的个数:这些是一维向量,这些是二维向量,这些是三维向量,等等。

对于低维度的向量,我们可以直接在坐标轴里画出来。比如最简单的一维向量,可以放置在一维坐标轴上:1 这个向量可以这么画,大小是 1,方向朝右;-3 这个向量可以这么画,大小是 3,方向朝左。

要表示二维向量,就必须使用二维坐标轴:比如 (2, 2) 可以放在这个地方,(-1, 2) 可以放在这里。同理,三维向量需要放在三维坐标轴里。当然,维度再大一点,就没法给你演示它在坐标轴里的位置了——毕竟我们生活在一个三维世界里。但无法可视化,并不代表不存在。

实际上,RAG 里用到的向量维度通常都比较大,比如几百甚至几千。一般来说,维度越大,每个向量所包含的信息就越丰富,用这些向量做各种工作的可靠性也就越强。

(2)embedding

embedding 就是把文本转换为向量的过程。以二维向量为例:假设“马克喜欢吃水果”对应的向量是 (1, 2),“马克爱吃水果”对应的向量是 (1, 1),“天气真好”对应的向量是 (-3, -1)。你会发现,前两个句子的向量非常接近,而“天气真好”则距离比较远。这说明前两个句子在语义上是相近的,而后者完全不相关。

这正是 embedding 的目的:含义相近的文本,经过 embedding 之后,对应的向量也相对接近。这样一来,当用户询问“马克喜欢吃什么”的时候,我们可以先把这个问题做 embedding 转换为向量,再根据向量相似度,把与这个问题相关的文本找出来,最后把相关文本和用户的问题一起扔给大模型,大模型就可以告诉我们:马克喜欢吃水果。

embedding 这个操作是由模型来完成的。不过这个模型可不是我们通常使用的 GPT-4o、DeepSeek 这样的模型,而是专门的 embedding 模型。如果你想知道哪些 embedding 模型最好用,可以参考 MTEB 排行榜,它会对各种 embedding 模型做评测并排行,方便我们挑选和使用。

(3)向量数据库

向量数据库就是用来存储和查询向量的库。它为存储向量做了很多优化,还提供了计算向量相似度等相关的函数,方便我们使用向量。embedding 后的向量可以放在向量数据库里,方便后续查询。

还是以“马克喜欢吃水果”这句话为例:给它做了 embedding 之后得到一个向量,然后把这个向量存入向量数据库。注意,我们要存的不仅有向量,还有原始文本,所以原始文本也要一起发给向量数据库。因为只有这样,才能在通过向量相似度查询出相似向量之后,把对应的原始文本也抽取出来发给大模型处理——我们最终需要的还是原始文本,向量只是一个中间结果。所以一般的向量数据库表格里,至少都会有“原始文本”和“向量”两列内容。

讲完了向量、embedding 和向量数据库,我们再回头看索引这个概念:索引就是通过 embedding 将每个片段文本转换为向量,并且把片段文本和对应向量都存储在向量数据库的过程。这句话想必大家都有概念了——其实就是我们刚才聊的过程,只不过要把一开始的整篇文本换成每一个片段的内容:先处理片段一,处理完之后处理片段二,以此类推,直到所有片段都处理完毕,整个流程就结束了。

不管是分片还是索引,它们都发生在用户提问之前,属于要提前准备的步骤。

3. 召回

下面来看看用户提问之后发生了什么。首先是召回:搜索与用户问题相关片段的过程。

这个环节从用户问题开始:用户的问题会发给 embedding 模型,embedding 模型将它转化为向量;然后我们把向量发送给向量数据库,让它查询与用户问题最为相关的 10 个片段内容。没错,召回的结果就是 10 个与用户问题相关的片段。当然,10 这个数字并不是固定的,你也可以选择 15、20 等等,具体是多少不是很重要,只要数量不是很多都可以。

不管数量是多少,向量数据库都要返回与用户问题最相似的一批片段。那向量数据库是怎么知道哪些片段与用户问题最相关的呢?这就要计算向量相似度了。我来模拟一下整个过程:

这是向量数据库里的数据,为了方便演示,这里只写了三条;我们把用户的问题和对应的向量也放在这里。接下来要计算每个片段与用户问题的向量相似度,先把“向量相似度”的表头写好,剩下的工作就是把片段向量和用户问题向量分别代入相似度计算公式,得出向量相似度。

这个计算公式的第一个参数永远是用户问题所对应的向量,所以先把第一个参数放进来;第二个参数则是每个片段的向量。先把第一个片段的向量代进来,算出一个数字,放入“向量相似度”这一栏;再把第二个片段的向量代入,算出第二个片段与用户问题的相似度,同样放入这一栏;以此类推,算出第三个片段与用户问题的相似度。按照这个方法把所有片段都计算完毕后,把向量相似度排个序,取前 10 个最大的就好了。

那这个公式是怎么算的呢?方案有很多种,目前比较流行的包括余弦相似度、欧氏距离和点积,这里大致说一下:

  • 余弦相似度:计算两个向量之间夹角的 cosine 值,根据 cosine 值判断夹角的大小。夹角越小,相似度越高。
  • 欧氏距离:计算两个向量之间的距离,也就是这段白线的距离。距离越小,相似度越高。
  • 点积:一种通过代数方式衡量两个向量相似度的方法,它不仅考虑两个向量之间的方向关系,也考虑它们的长度。比如要计算图里 A 和 B 的点积:先从 A 向 B 引一条垂线,A 和 B 的点积就是这段距离和那段距离的乘积。乘积越大,相似度越高。如果两个向量方向一致,向量越长,点积值就越大;方向相反,点积是负的;垂直,点积为 0。所以我们可以通过点积的值来判断两个向量是否在同一个方向上努力,以及努力的程度有多大。

4. 重排

向量相似度就讲到这里。回到前面的图,稍微回顾一下:在这个阶段,我们查询出了与用户问题最为匹配的 10 个片段。记住这个结论,因为这 10 个片段会发送到重排阶段继续处理。

重排,全称“重新排序”,它做的事情其实跟召回是一样的:召回是从所有片段里挑出 10 个与用户问题最相似的,重排则是从召回的这 10 个里面再挑 3 个最相似的作为结果。

你可能会想:直接在召回阶段挑 3 个不就好了?同样的事情搞两遍干什么?一次挑出 3 个当然是可以的,不过这样做的效果没有“召回 + 重排”的方案好。为什么呢?因为召回与重排阶段使用的文本相似度计算逻辑不一样。

先看召回。召回阶段使用的是向量相似度,我们列举了三种常见的向量相似度计算方法,但无论使用哪一种,它们的特点都是:成本低、耗时短、准确率低。所以适合做初步筛选——在短时间内把上千条片段的相似度数值都计算出来,从中挑出 10 个最高的。

而重排就不一样了。重排阶段一般使用一种叫做 cross encoder 的模型,计算每一个片段与用户问题的相似度。相比之下,cross encoder 的成本比较高、耗时也比较长,但准确率会高很多,所以很适合做精挑细选。

你可以把它类比成公司筛选人才。众所周知,公司招聘分为两个环节:简历筛选 + 面试。召回就像简历筛选:候选人太多,公司只能用一些粗略的方法,从成千上万份简历里挑出 10 个看起来最优秀的,准确率可能会大打折扣,但这也是没有办法的事情。重排就像面试:公司对这 10 个人进行面试,仔细挑选,尽可能保证判断正确,从中挑出最优秀的 3 个人入职。

5. 生成

好,重排就讲到这里,下面进入生成阶段。生成什么呢?当然是生成答案。现在我们有了用户问题,也有了与用户问题相关的 3 个片段,就可以把这两部分一起发给大模型,让它根据片段内容来回答用户问题。到此,整个流程就结束了。

四、整体流程串联

流程里的所有环节都讲完了,下面把所有流程串联起来,整体讲一遍。

整个流程分为两个部分:准备部分发生在提问前,包括分片和索引两个环节;回答部分发生在提问后,包括召回、重排和生成三个环节。

提问前的准备流程:

1. 把相关的资料做分片;
2. 把所有片段都扔给 embedding 模型,让它给每个片段产出一个对应的向量;
3. 把向量和原始文本存入向量数据库。

到这里,提问前的准备流程就结束了——相当于我们的知识库构建完毕,就等用户来用了。

用户提问之后的回答流程:

1. 用户的问题给到 embedding 模型,转换成一个向量;
2. 把向量传给向量数据库,让它找到 10 个与用户问题最相近的片段(召回);
3. 把这 10 个片段送给 cross encoder 模型做重排,从中筛选出相关程度最高的 3 个;
4. 把这 3 个片段外加用户的问题一起发给大模型,大模型产出最终答案。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐