各位AI爱好者们，今天我们要聊一个看似平淡无奇，实则暗藏玄机的话题——文本分块（Text Splitting）！没错，就是把长文本切成小块的那个操作。别小看这个看似简单的过程，它可是决定了你的RAG系统到底是"人工智障"还是"人工智能"的关键一步！

想象一下这个场景：你花了一个月时间建立了一个基于RAG的客服机器人，但它总是给用户返回不相关的信息。用户问"如何退货"，它却回答"我们的公司成立于1998年"。这不是模型的问题，而很可能是你的文本分块策略出了问题！

为什么RAG系统中的文本分块如此重要？

---

在深入技术细节之前，让我们先用一个简单的比喻来理解文本分块在RAG中的重要性：

图1：RAG系统中文本分块的位置和作用

想象你是一个图书馆管理员，你需要整理一大堆百科全书以便快速查找信息。你会怎么做？

• 「方法1」：按照书的物理尺寸排列（对应字符分块）
• 「方法2」：按照章节排列（对应递归字符分块）
• 「方法3」：按照书的类型排列（对应特定文档分块）
• 「方法4」：按照内容主题排列（对应语义分块）
• 「方法5」：请一位有经验的图书管理员来排列（对应基于Agent的分块）

很明显，按照内容主题排列会让你更容易找到相关信息，但这也需要更多的时间和精力。这就是为什么高级文本分块策略虽然复杂，但效果更好！

第一境界：字符分块（Character Splitting）——入门级选手

---

这是最基础的分块方法，就像用固定长度的尺子去切蛋糕一样——简单粗暴。

📝 「字符分块操作步骤：」

1. 设定一个固定的块大小，比如100个字符
2. 从文本开头开始，每隔100个字符就切一刀
3. 将切好的每一块收集起来
4. 完全不考虑句子、段落或语义的完整性

想象一下，这就像是机械地用尺子测量文本，不管内容是什么，只按照固定长度切割。

这种方法可能会把一个完整的句子切成两半，比如：

❝

“我今天去超市买了一些水果和蔬菜” → “我今天去超市买了一些” + “水果和蔬菜”

❞

看出问题了吗？如果用户查询"买了什么水果"，第一个块没有"水果"这个词，第二个块又没有"买了"这个动作，导致检索效果差强人意。

有人可能会问：为什么不增加一些重叠（overlap）来解决这个问题呢？

图2：文本块重叠示意图

没错，重叠确实能部分解决问题，但这种方法仍然是最基础的，适合完全不知道如何开始的新手。如果你在生产环境中还在用这种方法，那可能需要考虑升级了！

第二境界：递归字符文本分块——进阶选手的第一步

---

第二种方法开始考虑文本的自然结构，比如段落、句子等。它会首先尝试在段落处分割，如果块还是太大，就尝试在句子处分割，然后是空格，最后是字符。

这就像你在切披萨时，会优先沿着披萨上已有的切割线切，而不是随意切割。

📝 「递归字符分块操作流程：」

1. 首先尝试在段落之间分割（双换行符\n\n）
2. 如果分割后的块仍然太大，再尝试在句子之间分割（单换行符\n）
3. 如果还是太大，就在词之间分割（空格）
4. 最后实在不行，才按字符分割
5. 每一步都检查分割后的块是否满足大小要求

这种方法尊重文本的自然结构，就像烹饪大师切菜时遵循食材的纹理一样，分割更合理自然。

这种方法的优势是尊重了文本的自然结构，分块更有意义。比如，一个段落很可能包含一个完整的概念，保持段落完整会让检索结果更有意义。

如果你刚开始做RAG应用，我强烈推荐直接从这个级别开始，性价比最高！

第三境界：特定文档分块——适应不同文档类型的大师

---

到了第三境界，我们开始关注不同类型文档的特殊结构。比如：

• 「Markdown文档」：按照标题（#、##等）分块
• 「Python代码」：按照函数、类定义分块
• 「PDF文档」：处理表格和图像

想象一下这个场景：你正在构建一个编程助手，用户问：“如何使用Python的requests库发送POST请求？”

如果你的分块策略没有考虑Python代码的结构，可能会把一个函数定义切成两半，导致检索结果不完整。而使用特定文档分块，就能准确地将整个函数作为一个块返回。

对于包含表格和图像的PDF，情况更复杂：

📊 「PDF表格处理步骤：」

1. 使用专业的PDF解析工具（如unstructured库）
2. 将PDF拆解成不同的元素（文本、表格、图像）
3. 对表格单独处理，保留其结构信息
4. 将表格转换为HTML或Markdown格式，保持表格的行列结构
5. 这样LLM才能正确理解表格的内容和结构

🖼️ 「图像处理流程：」

1. 从PDF中提取所有图像
2. 使用多模态大模型（如GPT-4V）生成图像的文本描述
3. 例如：“这张图显示了2023年第一季度的销售趋势，呈上升走势”
4. 将这些文本描述与原文一起存入向量数据库
5. 查询时可以同时返回相关文本和图像描述

这种方法让我们不再局限于纯文本，而是能充分利用文档中的所有信息类型。

第四境界：语义分块——RAG系统的高级玩法

---

前面的方法都是基于文本的物理结构进行分块，而语义分块则关注内容的实际含义。这就像是按照书的主题而不是章节来组织内容。

实现方式是先将文本嵌入为向量，然后比较相邻部分的语义相似度，在语义变化较大的地方进行分割：

图3：语义分块的工作原理

📝 「语义分块工作流程：」

1. 「准备阶段」：将文档拆分成句子列表
2. 「向量化」：使用嵌入模型（如OpenAI的embedding模型）将每个句子转化为向量
3. 「相似度比较」：

• 计算相邻句子的向量相似度（如余弦相似度）
• 设定一个阈值（如0.8）作为判断标准

4. 「智能分块」：

• 如果相邻句子相似度高（≥0.8）→ 它们在讨论相同话题，合并在一起
• 如果相似度低（<0.8）→ 话题已经变化，在此处创建新块

5. 「结果整理」：将分好的块组织成最终结果

这种方法就像是一位懂内容的编辑，不是按照物理位置，而是按照语义关联度来组织内容，让语义相近的内容自然地聚合在一起。

这种方法的优势是可以将语义相关的内容组合在一起，即使它们在文档中的位置相距较远。缺点是计算成本高，速度慢。

第五境界：Agent分块——让AI为AI服务的终极境界

到了最高境界，我们可以训练一个专门的Agent来决定如何分块。这个Agent会考虑文档内容、潜在查询类型，甚至是特定领域知识。

🤖 「Agent分块流程图：」

📝 「Agent分块的实际工作方式：」

1. 「智能分析阶段」：

• Agent分析文档的主题、结构和领域特点
• 判断文档是技术文档、法律文本还是通用内容
• 预测用户可能会提出的问题类型

2. 「策略制定阶段」：

• 为当前文档创建一个专属分块策略
• 可能结合多种分块方法（如递归+语义）
• 针对不同章节使用不同的分块参数

3. 「执行与反馈阶段」：

• 执行定制化的分块操作
• 检查分块质量，必要时调整策略
• 持续从用户查询中学习改进

这种方法就像是让一位资深的图书管理员来整理你的知识库，他不仅了解内容，还能预测读者需求，灵活运用各种分类方法。

这种方法的优势是可以根据文档内容动态调整分块策略，但需要更多的计算资源和开发时间。

实战案例：电商客服RAG系统

假设你正在为一家电商公司构建一个基于RAG的客服系统，需要处理各种文档：

1. 产品说明书（PDF，包含图表）
2. 退货政策（结构化文本）
3. 用户评论（非结构化文本）
4. 技术支持文档（包含代码片段）

不同文档类型需要不同的分块策略：

• 产品说明书：使用特定文档分块处理PDF，保留图表信息
• 退货政策：使用递归字符分块，保持段落完整性
• 用户评论：使用语义分块，将相似话题的评论组合在一起
• 技术支持文档：使用针对代码的特定分块策略

通过合理选择分块策略，当用户询问"如何退货并获得全额退款"时，系统能够精确定位到退货政策中的相关段落，而不是返回不相关的产品信息。

总结

文本分块看似简单，实则是RAG系统成功的关键因素之一。从简单的字符分块到复杂的Agent分块，每种方法都有其适用场景：

1. 「字符分块」：适合入门学习，不推荐生产环境使用
2. 「递归字符分块」：大部分应用的最佳起点，简单有效
3. 「特定文档分块」：处理特殊格式文档的必备技能
4. 「语义分块」：追求高质量检索结果的进阶选择
5. 「Agent分块」：资源充足且追求极致效果的终极选择

无论你选择哪种方法，记住：分块的目标不是为了分块而分块，而是为了最大化检索效果，让你的RAG系统真正变得智能！

最后提一句，如果你正在学习RAG技术，掌握好文本分块是绕不开的一课。因为无论你的向量数据库多么先进，嵌入模型多么强大，如果输入的文本块质量差，那检索结果也不会好。就像中国的一句老话：“巧妇难为无米之炊”—即使最好的厨师，没有好食材也做不出美味佳肴！

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

• 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

• 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

vx扫描下方二维码即可

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：

04 视频和书籍PDF合集

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）

07 deepseek部署包+技巧大全

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发