前言

上下文工程(Context Engineering,简称 C.E.)是一个系统性的学科,旨在设计、优化和管理提供给大型语言模型(LLMs)的信息载体,从而提升模型性能。

上下文工程的分类法主要可以从两个维度进行详细阐述:技术实现维度(基础组件与系统实现)和功能目的维度(上下文类别与操作策略)。

一、 技术分类法:基础组件与系统实现

一项对超过 1400 篇研究论文进行的系统分析建立了一个统一的分类框架,将上下文工程分解为基础组件(Foundational Components)及其集成的系统实现(System Implementations)。

  1. 基础组件 (Foundational Components)

基础组件侧重于对上下文信息进行操作和管理的核心技术机制。

编号 基础组件名称 核心关注点及内容
(1) 上下文检索与生成 (Context Retrieval and Generation) 涵盖基于提示词的生成(prompt-based generation,例如思维链 Chain-of-Thought)以及外部知识获取(External Knowledge Acquisition)。该类别还包括动态上下文组装 (Dynamic Context Assembly)
(2) 上下文处理 (Context Processing) 解决长期序列处理、自我精炼(Self-refinement)和结构化信息集成。例如,用于处理长上下文的 Mamba、LongNet 等模型架构,以及 Reflexion 等自我精炼机制。
(3) 上下文管理 (Context Management) 涵盖内存层次结构(Memory Hierarchies)、压缩(Compression)和优化。这包括上下文压缩技术、KV 缓存管理以及上下文窗口管理。
  1. 系统实现 (System Implementations)

系统实现描述了如何将上述基础组件架构性地集成到复杂的智能系统中。

编号 系统实现名称 核心架构特点及内容
(1) 检索增强生成 (Retrieval-Augmented Generation, RAG) 包括模块化 RAG 架构 (Modular RAG Architectures)、Agentic RAG 系统 (Agentic RAG Systems) 和图增强 RAG (Graph-Enhanced RAG)。
(2) 内存系统 (Memory Systems) 使得系统能够进行持久化交互。例如,MemGPT 和 MemoryBank 等。
(3) 工具集成推理 (Tool-Integrated Reasoning) 允许 LLM 进行函数调用和环境交互。例如 ReAct 和 Toolformer,MCP等。
(4) 多智能体系统 (Multi-Agent Systems) 协调通信和编排,例如利用通信协议 (Communication Protocols) 和协调策略 (Coordination Strategies)。

二、 功能分类法:上下文类别与操作策略

在实践层面,上下文可以根据其在任务中扮演的角色进行分类,而上下文工程则可以根据其操作内容分为四大策略。

  1. 上下文的核心类别 (Context Categories)

上下文是提供给大语言模型(LLMs)的,用于完成下一步推理或生成任务的全部信息的集合。这些信息可分为三类:

• 指导性上下文 (Directive/Instructional Context):

◦ 核心功能: 指导模型“做什么”以及“如何做”,为模型的行为设定框架、目标和规则。

◦ 实践关系: 提示词工程主要优化此类上下文。

◦ 内容包括: 系统提示词(System Prompts)、任务描述、少样本示例(Few-Shot Examples)以及输出格式定义。

• 信息性上下文 (Informational Context):

◦ 核心功能: 告诉模型“需要知道什么知识”,提供解决问题所必需的事实、数据和知识。

◦ 内容包括: 检索增强生成(RAG)获取的知识,以及模型的记忆(分为短期记忆、长期记忆,以及 Scratchpad/思考本等)。

• 行动性上下文 (Actionable Context):

◦ 核心功能: 告诉模型“能做什么”以及“做了之后的结果”,提供与外部世界交互的能力。

◦ 内容包括: 工具定义、工具调用和结果,以及工具追踪。例如,模型上下文协议(MCP)本质上就是为了行动性上下文和部分信息性上下文的标准化交互所做的努力,为复杂的系统工程提供了标准化接口。
  1. 上下文工程的四大操作策略 (Operational Strategies)

为了应对 LLM 在处理复杂或长时间任务时可能出现的性能下降、成本增加和上下文溢出等挑战,业界逐渐形成了一套系统性的应对框架,可分为四个操作策略:

• 写入 (Writing):

◦ 目的: 将上下文信息持久化,以便在未来按需取用。

◦ 方式: 分为会话内写入(如将中间思考、计划或临时数据写入草稿/思考本,这是一种轻量级非持久化写入)和持久化写入(将具有长期价值的信息,如用户画像总结、关键事实,写入外部的记忆系统,例如向量数据库或知识图)。

• 选取 (Selection):

◦ 目的: 在每次调用模型之前,从所有可用信息源中动态拉取与当前子任务最相关的信息,这是保证上下文信噪比的关键。

◦ 方式: 包括确定性选取(根据预设规则固定加载上下文,例如加载项目根目录下的特定文件)、模型驱动选取(利用模型自身能力进行筛选)和检索式选取(最主流的方式,通过相似度检索从记忆或外部知识库拉取信息)。

• 压缩 (Compression):

◦ 目的: 在信息进入上下文窗口之前,对其进行有损或无损压缩。目的是用更少的 token 来承载最核心的信号,从而在有限的上下文窗口中容纳更多有效信息。

◦ 方式: 例如,系统在上下文窗口接近溢出时采取自动压缩和自动总结上下文的策略。

• 隔离 (Isolation):

◦ 目的: 在信息架构层面上进行上下文管理,在多信息流之间设置边界,管理系统的复杂性。

◦ 方式: 隔离的经典体现是多 Agent 架构。子 Agent 充当智能过滤器,在各自的领域内消化大量原始信息,然后将最关键、经过压缩和提炼的摘要提交给主 Agent。隔离可以很大程度上避免长上下文带来的上下文干扰和冲突问题,并提高了上下文中的信息密度。

总而言之,上下文工程强调从设计到维护的系统性方法,其目标是在模型做出决策之前,为其组装出最恰到好处的上下文组合。

最后

为什么要学AI大模型

当下,⼈⼯智能市场迎来了爆发期,并逐渐进⼊以⼈⼯通⽤智能(AGI)为主导的新时代。企业纷纷官宣“ AI+ ”战略,为新兴技术⼈才创造丰富的就业机会,⼈才缺⼝将达 400 万!

DeepSeek问世以来,生成式AI和大模型技术爆发式增长,让很多岗位重新成了炙手可热的新星,岗位薪资远超很多后端岗位,在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合,飞速发展,成为炙手可热的新风口,企业非常需要了解AI、懂AI、会用AI的员工,纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型,后台也经常会有小伙伴咨询学习路线和学习资料,我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料,这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入,精准学习显得尤为重要。一份系统的技术路线图,不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点,还能提供一条高效、有序的学习路径。

img

但知道是一回事,做又是另一回事,初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性,在这基础上,找到高质量的学习资源,不浪费时间、不走弯路,又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式,可以更直观地展示过程,能有效提升学习兴趣和理解力,是现在获取知识的重要途径

在这里插入图片描述
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

海量AI大模型必读的经典书籍(PDF)

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
在这里插入图片描述

600+AI大模型报告(实时更新)

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐