RAG是一种方法论,由检索和增强生成两部分组成,旨在解决大模型知识更新不及时、幻觉和时效性问题。搜索技术是RAG的核心,决定上下文质量。搜索技术包括字符串匹配、分词技术、语义相似度检索等。针对格式化数据,可利用大模型的语义理解能力生成查询语句或参数,通过SQL或API获取数据。掌握正确的搜索技术对构建高效RAG系统至关重要。


搜索技术是RAG的核心组成部分,没有搜索就不存在RAG。

说到RAG检索增强,很多人都知道它是和大模型应用有关的技术,而且网上也有很多介绍RAG的文章和代码;作者在之前的文章中也介绍过RAG的本质并不是指一项具体的技术,而是一种方法论;因此,RAG更像是多种技术的组合体。

RAG——中文名称叫检索增强生成,其实RAG是由两部分组成,检索和增强生成;检索类似于传统的搜索技术,而增强生成才是和大模型相关的内容。

检索增强生成和搜索

RAG检索增强生成的目的是为了解决大模型的缺陷问题:

  • 知识更新不及时
  • 模型幻觉问题
  • 知识时效性问题

所以,为了解决这些问题,在模型进行生成之前,先使用搜索技术从外部知识库中检索到与问题相关的内容,然后再用这些内容构建上下文,交给大模型,让模型根据这些外部知识进行内容生成,这就达到了检索增强生成的目的。

为什么说RAG是一种方法论,而不是指某一项具体的技术?

原因就在于,RAG本身并没有约束你使用那种搜索技术,也没约束你怎么构建大模型上下文进行更好的内容生成。

对大模型来说,它只关注你构建的上下文质量怎么样,不要超出上下文窗口限制;但上下文中的内容是怎么来的,就不是它关心的事了。

因此,大模型生成的内容怎么样,一是看你的上下文构建方式,二是看你检索到的数据质量。

所以,如果说上下文管理技术决定了模型生成的质量,那么搜索技术就是保证上下文质量的核心组件。

搜索技术

自搜索引擎出现以来,搜索技术就已经渗透到我们生活的方方面面;我们平常遇到问题使用百度或谷歌,买东西时在购物APP中搜索需要的商品,在视频网站搜索我们想看的电影,这些都属于搜索技术的范畴。

但这些都是从用户的角度来看的,那么从技术的角度来说,有哪些常见的搜索技术呢?

事实上搜索技术涉及的范围非常广,在不同的场景中有不同的解决方案和技术栈;如搜索引擎的搜索技术和电商APP的搜索技术就不尽相同。

而作为开发人员,我们经常用到的所谓的搜索技术,应该就是基于数据库的字符匹配方式了;通过完整的字符串匹配获取最终的结果,基于缓存的搜索方式同样如此。

只不过,在类似于搜索引擎和大模型自然语言对话场景中,基于字符串匹配的方式就不太行了;这时就需要用到分词技术和语义相似度检索技术。

原因就是,用户可能说了一段话,但这段话中并没有完整的字符匹配内容,这时通过分词,从用户问题中提取关键字和词,进行数据匹配,以实现搜索的目的。

而语义相似度检索方式,是人工智能技术发展的产物,其原理是通过向量计算,来计算文本的语义相似度,这样就可以根据问题找到与问题相关的内容。

但是,这些基于分词和语义匹配的方式虽然好用,但如果针对格式化数据应该怎么办呢?比如说表数据?

这时,你可能说这不就是字符匹配的方式吗?

基于表结构的数据检索确实是字符匹配,但在自然语言对话中,用户说的是自然语言并不是专业术语,这个应该怎么办?

这种方式使用语义检索明显不是一个好的办法,因此这时大模型的语义理解能力就有用武之地了。

通过让大模型理解用户的问题,然后根据问题去生成查询语句或查询参数,这样就可以通过SQL或调用API的方式来获取数据。

AI时代,未来的就业机会在哪里?

答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具,到自然语言处理、计算机视觉、多模态等核心领域,技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。

在这里插入图片描述

掌握大模型技能,就是把握高薪未来。

那么,普通人如何抓住大模型风口?

AI技术的普及对个人能力提出了新的要求,在AI时代,持续学习和适应新技术变得尤为重要。无论是企业还是个人,都需要不断更新知识体系,提升与AI协作的能力,以适应不断变化的工作环境。

因此,这里给大家整理了一份《2026最新大模型全套学习资源》,包括2026最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题、AI产品经理入门到精通等,带你从零基础入门到精通,快速掌握大模型技术!

由于篇幅有限,有需要的小伙伴可以扫码获取!
在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

5. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

为什么大家都在学AI大模型?

随着AI技术的发展,企业对人才的需求从“单一技术”转向 “AI+行业”双背景。企业对人才的需求从“单一技术”转向 “AI+行业”双背景。金融+AI、制造+AI、医疗+AI等跨界岗位薪资涨幅达30%-50%。

同时很多人面临优化裁员,近期科技巨头英特尔裁员2万人,传统岗位不断缩减,因此转行AI势在必行!

在这里插入图片描述

这些资料有用吗?

这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

大模型全套学习资料已整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费】

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐