02.AI文本生成基本原理及RAG概念引入

本文讲解AI文本生成的基本原理，阐述从用户提问到最终内容生成的全流程

weixin_43826370

792人浏览 · 2025-12-10 14:07:54

weixin_43826370 · 2025-12-10 14:07:54 发布

文章目录

前言
一、名词描述（通俗版）
二、AIGC流程（文本生成。普通流程）
三、RAG的引入和原理
总结

前言

提示：仅供新手快速入门：

本文讲解AI文本生成的基本原理，阐述从用户提问到最终内容生成的全流程。

一、名词描述（通俗版）

名词	描述
数据切片	将用户输入的打断文字，按一定分割规则切成一段一段的（具体方法可自己扩展学习），每一段尽可能保留原语义。例如：我想吃一个苹果。可以切成“我想吃一个”、“想吃一个苹”、“吃一个苹果”3段
数据向量化	将切片的数据转换为高维的向量。意义有2点：1、可以存储数据本身的语义；2、使数据具备了被计算的可能性。以上2个特性形成了AIGC的生成基础，具体原理可参考：大语言模型中的向量化：概念、目的与作用
向量数据库	存储向量化后的数据
大数据模型LLM	通过数据训练，将海量数据变为可使用的数据（如何训练大模型，后期会写相应文章），形成的一个数据集。也是AIGC的数据来源，大模型的数据丰富度、专业性，直接影响AI生成内容的质量。市面常见的deepseek、通义千问等即属于大模型
向量数据库	存储向量化后的数据
知识库	大模型中的数据需要训练后才会更新，所以存在2个问题：1、更新不及时；2、对于获取不到的数据无法用于AI内容生成。举个低俗例子：问AI“我今天内裤的颜色是什么？”，AI大概率会回答错误，因为它不知道你内裤的颜色。为解决这2个缺陷，则引入了知识库，用户可以提前告知AI一些知识，让AI能够回答更多问题。在上诉例子中，可抽象为：用户提问变成“我今天内裤的颜色是什么？我今天穿的红色内裤”，AI即可回答“红色”。总结知识库可简单理解为大模型LLM的数据扩充

二、AIGC流程（文本生成。普通流程）

缺点：

内容生成全靠大模型已生成的知识内容，无法对专业领域进行内容生成

三、RAG的引入和原理

R：Retrieval 检索：从知识库中匹配与用户问题相关的知识
A：Augmented 增强：将匹配的知识拼接进用户问题，形成新的提问文本
G：Generation 生成：大模型根据增强后的问题，生成最终的答案

较普通提问流程差异：
RAG在用户提问后，会先从知识库中查询知识，然后与用户提问内容进行拼接后，形成新的提问文本（注意：拼接内容会消耗token），再交由大模型进行内容生成

意义：
通过知识库补充信息，让AI能够生成更专业的内容，使AI生成内容更接近开发者想展示给用户的

知识扩充：
感兴趣的可以自行了解下Advanced RAG、Modular RAG的内容，可以更好理解RAG流程。
参考链接（转载）：从基础到进阶：初级 RAG 与高级 RAG 的核心区别，一篇文章讲透

总结

AIGC（文字生成）
1、原理：将用户提问内容转换为高维向量后交给大模型LLM进行计算，匹配数据，生成最终答案
2、痛点：大模型数据本身无法及时更新和知识欠缺，无法对专业性较强的行业或业务进行处理
3、能力增强：使用RAG，通过补充外部知识库解决痛点
4、RAG原理：用户提问内容+知识库相关内容 ----------> 交给大模型计算匹配生成结果

故：想要增强AIGC产品的能力（主要是提升结果的准确性、专业性），可以从2方面入手：一是，扩展外部知识库；二是，自行训练大模型提升大模型本身的能力