词嵌入能够帮你筛选出相关文本片段;向量数据库则可以针对这批数据实现更快速的检索。完成检索之后,你就可以把检索到的内容连同提示词一起交给 OpenAI 模型,最终获取答案。

这段话完整概括了经典 RAG(检索增强生成)基础工作流程,我帮你梳理、拆解并补充关键点:

完整流程梳理

  1. 词嵌入(Embedding) 把文档、文本片段转换成高维数值向量,语义相近的文本向量在向量空间距离更近;依靠向量相似度,筛选语义相关的文本。

作用:把文字变成模型可计算的 “语义数字”,实现语义匹配,而不只是关键词匹配。

  1. 向量数据库 存储海量文本向量,内置相似度索引算法(HNSW 等)。 如果直接暴力比对全部向量速度极慢,向量数据库通过索引优化,大幅加速相似向量检索

作用:解决大规模向量高效查询问题。

  1. 检索召回 用户提问同样经过 Embedding 转为向量,在向量库查找 Top-N 最相似文本片段。
  2. 上下文拼接 + 大模型推理 将:用户问题 + 检索得到的参考片段 + 系统提示词(Prompt)一并送入 OpenAI LLM。 模型依据提供的外部资料生成回答,不再只依赖自身训练知识。

通俗总结

词嵌入负责理解语义、向量化;向量数据库负责快速找相似内容;最后把找到资料喂给大模型,让 AI 借助私有外部知识作答,弥补大模型知识截止、无法使用本地数据的缺陷。

补充一处容易混淆的边界

  • 没有向量数据库:少量文本可以直接内存向量比对;文档量大时检索延迟爆炸;
  • 没有词嵌入:无法做语义检索,只能退化成关键词模糊搜索。
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐