在数字化时代，我们每个人都坐拥海量的信息资产。

• 个人开发者：GitHub 上收藏的优质开源教程、本地 Obsidian/Notion 中的技术笔记。
• 研究人员：硬盘里存储的成百上千份 PDF 论文、行业研报。
• 企业团队：内部沉淀的 SOP 操作手册、产品文档、私有 Wiki。

那么，面对这些高价值数据，为什么需要一个垂直领域的RAG知识库呢？

• 传统的关键词搜索：只能匹配字面意思，无法理解“适合新手的方案”或“总结核心风险”这种语义需求。
• 直接询问LLM：训练数据滞后，缺乏特定行业的深度知识，无法实现精准检索，且容易产生幻觉。

在企业中，垂直RAG知识库包含了特定领域的专属术语、事实信息和内部规范，使得问答系统能够处理高度专业化的问题，同时能避免敏感数据泄露。

如何为自己打造一个智能问答助手，让我们不论是学习还是工作效率都能够有质的飞跃呢？

本项目的数据来源于 GitHub 上著名的开源项目 https://github.com/Anduin2017/HowToCook（程序员做饭指南），我下载了它的所有菜谱的markdown文件，做成了一个“智能菜谱问答助手”。

接下来我将大致介绍我们如何从零构建一个垂直领域的 RAG（检索增强生成）系统。虽然案例是食谱，但这套架构与工程逻辑完全适用于任何结构化文档知识库的构建。

01 理解数据

构建 RAG 系统的第一步，是理解数据。

无论是 Markdown 笔记、PDF 研报还是企业文档，它们通常都具有以下特征：层级分明、信息密度高、逻辑连贯。

分析这些数据，我们发现它对 RAG 系统提出了两个具体要求：

1. 事实的精确性： 在截图中的宫保鸡丁食谱里，豆瓣酱是 10g，姜片是 5g，这些具体的配比参数容错率极低。对于技术文档中的参数或合同中的条款也是如此。这要求检索环节必须精准召回原文，绝对不能依赖大模型的模糊记忆去“胡编乱造”数值。
2. 上下文的完整性： 文档往往存在复杂的嵌套结构。例如宫保鸡丁的“操作”章节下，分为了“简易版本”和“复杂版本”。如果用户询问“宫保鸡丁怎么做”，系统不能只检索到“简易版本”的中间几行步骤，而遗漏了前置的“必备原料”或者混淆了两个版本的步骤。这要求数据处理环节必须保留文档的逻辑结构，让 AI 理解段落之间的从属关系。

这种对精度和完整性的双重需求，正是 RAG 技术的核心应用场景。

02 架构设计

为了解决上述问题，我采用了一套进阶的 RAG 架构。这套架构采用了模块化设计，便于迁移到不同的数据源。

大家可以看看整体的逻辑架构：

我们将系统划分为四个解耦的核心模块：

1. 数据准备：系统的地基。负责加载 Markdown/PDF/TXT 文件，清洗噪声，并根据文档结构进行切分（Chunking）。
2. 索引构建：系统的记忆库。将切分好的文本通过 Embedding 模型转化为向量，并存储在向量数据库（如 FAISS）中。
3. 检索优化：系统的过滤器。通过混合检索（向量+关键词）和重排序（Rerank）技术，从知识库中筛选出最相关的片段。
4. 生成集成：系统的决策中心。负责识别用户意图，重写查询，并将检索到的上下文组装成 Prompt，引导 LLM 生成最终答案。

03 工程化挑战

在实践过程中，我发现直接套用一些基础教程的代码，无法满足真实场景的需求。从“能跑通”到“好用”，中间存在巨大的工程鸿沟。

以下是我在构建过程中遇到的三个核心瓶颈，也是本系列文章后续将重点拆解的技术干货：

1.检索粒度与理解粒度的矛盾

现象：当我们将文档按固定字符数切分时，检索结果往往支离破碎。用户问“怎么做”，检索回来的可能只有“步骤”，而缺了“原料”或“注意事项”。

思考：检索需要小粒度以保证精准度，而生成需要大粒度以保证上下文完整。如何兼得？

解决方案：引入父子文档索引（Parent-Child Indexing）策略。索引时用“子块”，生成时召回“父文档”。

2.语义检索的局限性

现象：向量检索擅长捕捉语义（如“健身”关联“低脂”），但对专有名词（如“空气炸锅”、“304不锈钢”）或特定代码变量名的精确匹配能力较弱。

思考：单一的检索路径存在盲区。

解决方案：我采用了混合检索（Hybrid Search）的方式，结合 Vector Search 的语义理解能力和 BM25 的关键词匹配能力，并引入 RRF（倒数排序融合） 算法进行结果合并。

3.用户意图的模糊性

现象：用户提问往往是非标准化的。例如问“今天吃什么”或“来点硬菜”，直接检索这些词，结果往往是噪音。

思考：系统需要在检索前，先理解并转化用户的意图。

解决方案：我在检索前置位加入了意图路由和查询重写模块，利用 LLM 将模糊的自然语言转化为精准的数据库查询指令。

04 简单测评

经过上述架构设计与工程优化，我们最终实现了一个具备意图识别、精准检索、流式输出能力的智能问答助手。

为了验证这套架构在真实场景下的表现，我设计了一组丰富的测试用例。我希望通过这些测试，观察系统在意图理解、检索精度以及拒绝回答等方面的真实反应。

以下是五组不同维度的实测记录。

测试 1：通用烹饪知识（跨文档归纳）

• 测试目的：验证系统是否具备跨越单一菜谱，回答通用知识的能力。

• 用户提问：“生抽和老抽有什么区别？做红烧肉的时候应该用哪个？”

• 系统表现：

  

• 意图识别：后台日志显示，Router 准确将其判定为 General（通用知识）模式。
• 查询重写：系统将问题拆解并重写为 '红烧肉 做法 生抽 老抽 使用区别 炖肉 上色 调味'，这极大地扩展了检索范围。
• 检索命中：日志显示命中了 简易红烧肉、卤菜 等相关文档。
• 生成回答：准确指出了生抽调味、老抽上色的区别，并结合红烧肉场景，建议两者配合使用。

对比原文档，我们会发现AI精确检索地出了准确的毫升数：

测试 2：领域外问题（边界控制）

• 测试目的：验证系统是否会出现“幻觉”或强行回答无关问题。
• 用户提问：“帮我写一段 Python 代码，实现快速排序。”
• 系统表现：

• 生成回答：系统没有受到诱导去写代码，而是坚定地回复：“抱歉，我是一位烹饪助手…如果你有关于蒸卤面、蛋包饭…的问题，我很乐意帮忙！”

• 测评结论：通过System Prompt 的角色设定，系统具备了良好的边界感。

测试 3：特定菜品制作（完整性检验）

• 测试目的：验证“父子文档索引”策略是否解决了上下文碎片化的问题。

• 用户提问：“宫保鸡丁怎么做？特别是鸡肉要怎么处理才嫩？”

• 系统表现：

  

• 生成回答：AI 成功提取了原文中“泡水去腥”、“腌制时加淀粉和葱姜水”等关键细节，并整合了完整的制作步骤。

• 检索动作：子块索引精准命中了“宫保鸡丁”的“操作步骤”段落。

• 测评结论：父文档召回策略生效，AI 在回答细节的同时，拥有了全局视野，保证了输出的完整性。

这是AI完整的输出过程：

测试 4：长尾细节追问（精准度检验）

• 测试目的：测试系统能否从长文档中提取微小的具体数值。
• 用户提问：“做糖醋排骨，糖醋汁的具体比例是多少？”
• 系统表现：

• 路由判断：识别为 Detail（详情）模式。
• 检索与生成：精准定位到糖醋排骨文档中的用料部分，直接回答“白砂糖 30g、香醋 5ml、生抽 5ml…”，没有任何幻觉数据。

• 测评结论：混合检索中的关键词匹配（BM25）在此处发挥了关键作用，确保了数字类信息的精准召回，没有出现大模型常见的“胡编乱造数值”现象。

测试 5：模糊场景推荐（意图理解与重写）

• 测试目的：测试系统能否处理非结构化的自然语言需求，并正确使用元数据过滤。

• 用户提问：“周末朋友来聚餐，推荐几个拿得出手的硬菜，最好是辣的。”

• 系统表现：

  

• 查询重写：后台日志显示，LLM 将问题重写为 '辣的 硬菜 聚餐 推荐'。
• 元数据过滤：提取出了 category: '荤菜' 作为过滤条件，排除了辣味素菜或小吃。
• 最终推荐：推荐列表包括“辣椒炒肉”、“贵州辣子鸡”、“宫保鸡丁”、“麻辣香锅”——全都是符合“辣”且“硬（荤菜）”标准的菜品。

---

文章至此，我们已经大致了解了一个垂直领域 RAG 系统的构建过程。

最后，聊聊关于 dify、ragflow 等低代码平台的思考。

首先，必须承认，低代码平台是非常优秀的工具。 对于快速验证想法、构建标准化的企业知识库，或者是非技术人员想要拥有自己的 AI 助手，dify 等平台是首选。

它们提供了可视化的流程编排、现成的连接节点，以及开箱即用的部署能力，极大地降低了 RAG 的门槛。如果你的需求是标准的文档问答，且数据量适中，使用这些平台是效率最高的选择。

但是，“会用工具”和“理解原理”是两个维度的能力。作为开发者，亲手构建 RAG 系统有其不可替代的价值：

1. 白盒化的调试能力： 在低代码平台中，如果检索效果不好，你可能只能调整“Top-K”或“阈值”这几个有限的参数。但在代码层面，你可以清楚地看到：是分块切断了语义？是向量模型对某些词理解偏差？还是 Rerank 排序打分不合理？

只有理解了黑盒内部的齿轮如何啮合，你才能在检索不精准时进行问题排查和修复。

2. 极致的灵活性与定制化： 在平台上，你确实可以开启“父子索引”，但你很难干预“父子”是如何定义的——是按段落、按 Token 数，还是按 Markdown 的特定标题层级？

   在代码中，我们可以像本项目一样，编写定制化的正则逻辑来切分文档，确保每一个“子块”都精准对应一个完整的语义单元。这种数据治理层面的微操，往往是决定最终效果的天花板。

3. 技术迁移与复用： 本文虽然以“食谱”为例，但这套“ETL -> 混合检索 -> 重排序 -> 意图识别”的架构思想是通用的。 你可以通过亲手搭建，将这套代码的思想和架构迁移到Obsidian 个人笔记库，打造你的第二大脑；或者迁移到企业的文档库，构建企业垂直领域的应用。

数据在变，但处理复杂非结构化数据的逻辑是不变的。

如果你也面临着管理私有知识库、技术文档或垂直领域数据的需求，我在后续的文章中会对于意图路由与查询重写、父子文档索引、混合检索与 RRF 重排序等技术作一些更详细的讲解，希望对你有所启发。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？