ClaudeGPT-4o等大型语言模型 (LLM) 功能强大,但也面临两个主要限制:它们包含的知识是时效性的(更具体地说,是在训练时点固定的),并且决定它们一次可以处理多少信息的上下文窗口是有限的。

检索增强生成 (Retrieval-AugmentedGeneration, RAG) 和模型上下文协议 (Model Context Protocol, MCP) 是两种可以解决这些限制的方法。在本文中,我们将简短概述这两种方法的工作原理,以及区分它们的一些差异。

检索增强生成 (RAG)

RAG 是一种增强大型语言模型 (LLM) 的技术,它通过整合一个单独的检索系统,在模型生成响应之前从外部来源收集相关信息。RAG 的工作流程简单来说主要包括三个步骤:

  1. 查询处理:处理用户的查询,以识别关键信息需求。
  2. 检索:从外部数据库或知识库中获取相关的文档或信息片段。
  3. 增强生成:将检索到的文档添加到大型语言模型 (LLM) 的上下文窗口中,然后模型基于其预训练知识和收集到的信息生成响应。

这种方法弥合了静态的预训练知识与动态的信息检索系统之间的差距。

RAG 模型图

RAG 的主要优势

  • 增强准确性:提供基于事实的、最新的信息
  • 减少幻觉:利用知识库中的信息
  • 可定制的知识:从特定领域来源获取知识
  • 透明度:通过来源提供引用想象一下一个大学聊天机器人,学生向它提问:
"高数期末考试是什么时候?"

如果使用 RAG 实现,系统将:

a) 处理这个查询

b) 从大学数据库中检索当前学期的考试时间表

c) 将此信息连同查询一起提供给大型语言模型 (LLM)

然后,大型语言模型 (LLM) 将生成包含最新信息的准确回复:

"高数期末考试安排在 12 月 15 日下午 2:00,地点在B教学楼"

RAG 允许系统访问最新的信息和专业知识,而无需重新训练模型。

模型上下文协议 (MCP)

模型上下文协议 (MCP) 使用不同的方法来扩展人工智能 (AI) 的能力。虽然 RAG 侧重于在生成之前进行检索,但 MCP 为大型语言模型 (LLM) 提供了一个标准化的接口,以便在生成过程请求额外信息或执行操作,这里和RAG是区别性比较多的,MCP大致就是大模型变生成变调用外部能力。MCP 的工作原理如下:

  1. 识别:模型识别出何时需要额外的信息或工具。
  2. 协议执行:按照预定义的协议,模型输出一个结构化的请求。
  3. 外部处理:外部系统处理此请求,以获取数据或执行操作。
  4. 持续生成:模型整合结果并继续生成响应。

MCP 模型图

MCP 的主要优势

  • 上下文优化:最大限度地利用有限的上下文窗口
  • 结构化信息:使用模型更容易理解的模式和格式
  • 信息层级:优先考虑任务的关键信息
  • 一致性:为可预测的模型行为提供标准化的格式
  • 性能提升:在相同的上下文大小下实现更好的推理

当处理需要多个信息来源,但又必须在模型上下文窗口容量限制内运行的复杂任务时,MCP 尤其有价值。

使用通过 MCP 实现的大学聊天机器人场景,当学生询问 高数 考试时:

a) 模型识别出它需要当前的考试时间表

b) 它生成一个结构化的 MCP 调用:

{action: "fetch_exam_schedule", course: "高数", semester: "current"}

c) 外部系统处理此调用并返回考试详情

模型将此信息整合到响应中:"高数期末考试在 12 月 15 日下午 2:00,地点在 B教学楼"

结论

RAG 和 MCP 都是扩展人工智能 (AI) 能力的强大方法,它们都超越了模型最初训练时的局限性。RAG 通常更容易实现,并且非常适合直接的信息检索。MCP 为需要各种工具和数据源的复杂、多步骤任务提供了更大的灵活性。

在实践中,许多先进的AIGC系统开始结合这两种方法的元素——**使用 RAG 进行广泛的知识访问,而使用 MCP 进行特定的工具使用和动态信息检索。**当我们开始开发大模型应用程序时,请考虑哪种方法,或两种方法的结合更适合我们的特定用例。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!

在这个版本当中:

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

五、AI产品经理大模型教程

LLM大模型学习路线

阶段1:AI大模型时代的基础理解
  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望
阶段3:AI大模型应用架构实践
  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐