简介

本文详细解析了RAG系统中的三类模型：Embedding模型负责将文本转换为向量进行语义检索，Rerank模型对初步结果进行精细排序，生成式大模型则整合信息生成最终回答。文章解释了为什么前两者通常不是"大模型"，而是针对特定任务优化的"小模型"，强调了任务复杂度、效率和专门优化对模型选择的重要性。

---

先来看看RAG系统中的三个模型，用户查询的问题需要经过Embedding模型，然后从向量库里检索，再经过Rerank模型重排序，拿到最精准的N条结果，最后是生成式大模型归纳总结生成回答。

其中前两个并不是我们平时说的“大”模型，而是“小”模型。下面我再来详细解释一下这三类模型。

RAG系统通常包含两个核心部分：

1）检索器：

负责根据用户查询，从知识库（文档库）中找到最相关的片段。Embedding操作主要发生在这里。

2）生成器：

负责将用户查询和检索到的相关片段作为输入，生成最终的自然语言回答。这里通常需要一个大语言模型。

关键点： 检索器中的Embedding模型和生成器中的大模型是两个独立且功能不同的模型。

Embedding模型的特点

1）核心任务：

将输入的文本（句子、段落、文档）映射到一个固定维度的向量（数字数组）。这个向量旨在捕捉文本的语义信息。

2）训练目标：

主要目标是让语义相似的文本在向量空间中的距离更近（例如，通过余弦相似度衡量）。常见的训练目标包括：

• 对比学习：让正样本对（相似文本）的向量接近，负样本对（不相似文本）的向量远离。
• 掩码语言建模：像BERT那样，预测被遮盖的词，间接学习上下文表示。
• 相似度预测：直接预测文本对的相似度分数。

**3）模型规模：**Embedding模型通常比生成大模型小得多！

• 常见的Embedding模型如 all-MiniLM-L6-v2 (约2200万参数), text-embedding-ada-002 (OpenAI, 参数量未公开但远小于GPT-3), e5-large-v2 (约3.35亿参数) 等。
• 相比之下，生成大模型如 GPT-3 (1750亿参数), Llama 2 70B (700亿参数), Claude 2 (未公开但估计千亿级) 规模庞大得多。

3）架构：

大多基于Transformer架构（如BERT、RoBERTa的变体），但专门优化了向量表示的质量和效率，而不是文本生成能力。Sentence-BERT (SBERT) 是一个经典的例子，它在BERT基础上添加了池化层，使其更适合生成句子级Embedding。

4）部署：

由于规模相对较小，Embedding模型更容易在本地部署、优化（如量化、蒸馏）或通过API（如OpenAI Embedding API, Cohere Embed API）高效调用，计算成本远低于调用生成大模型。

为什么Embedding模型不需要“大模型”？

1）任务相对简单：

将文本编码成向量是一个“理解”和“表示”的任务，其复杂度远低于“生成”连贯、相关、符合上下文的长文本。生成模型需要学习语言的语法、事实知识、推理能力、风格控制等，这需要巨大的模型容量。

2）效率至关重要：

在RAG的检索阶段，需要对知识库中的所有文档（可能数百万甚至数十亿个片段）进行Embedding并建立索引，还需要对每个用户查询进行实时Embedding。使用轻量高效的Embedding模型是保证系统响应速度和可扩展性的关键。用生成大模型做Embedding会极其缓慢且昂贵。

3）专门优化：

现有的Embedding模型已经在海量文本上针对语义相似度任务进行了专门训练或微调，其表示能力对于检索任务已经足够好，并且效率远高于通用生成大模型。

Rerank模型

在RAG（检索增强生成）技术中，Rerank模型（重排序模型）是检索阶段的另一个关键组件，但它与Embedding模型有本质区别，且通常也不是“大模型”。

Rerank模型用于对初步检索结果进行精细排序，解决Embedding检索的局限性：

1）问题场景：
Embedding模型通过向量相似度（如余弦距离）快速召回候选文档（如Top 100），但可能因以下原因导致排序不准：

• 语义偏差：向量无法精确匹配复杂语义（如否定、词序、上下文依赖）。
• 噪声干扰：相似但不相关的文档被误召回。

2）Rerank的解决方案：
对初步召回的候选集（如Top 100）逐条进行深度语义分析，重新计算相关性得分，最终输出更精准的排序（如Top 5）。

为什么Rerank模型不是“大模型”？

1）任务专注性：
Rerank模型仅需判断查询与文档的相关性（输出一个0~1的分数），无需生成文本，因此模型复杂度远低于生成式大模型（如GPT-4）。

2）典型模型示例：

• 轻量级：BGE-reranker-base（1.09亿参数）、ms-marco-MiniLM-L-12-v2（3300万参数）。
• 高性能：Cohere Rerank（参数量未公开，但专为重排序优化）、bge-reranker-large（5.6亿参数）。

3）对比生成大模型：
即使最大的Rerank模型（如bge-reranker-large）参数量也仅为GPT-3（1750亿）的1/300，计算成本显著更低。

总结：

1、Embedding负责“广度”：快速从海量数据中召回潜在相关文档。

2、Rerank负责“精度”：在小规模候选集中筛选最相关结果。

3、生成模型负责“整合”：基于精准结果生成最终答案。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝 一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝 一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇