本文介绍了 AI Agent 的发展历程，从最初依赖模型权重，到通过上下文工程提升灵活性，再到当前的框架工程阶段，强调通过构建更好的运行环境来提高 Agent 的可靠性。文章详细解析了三个阶段的特点和转变，并指出了框架工程的重要性，为想要学习大模型开发的程序员提供了实用指导。

从权重 → 上下文 → 工程化框架（Harness Engineering）。

在 AI 生成的代码阻塞你的 PR 之前先验证它[1]

AI Agent 编写代码时并不了解你的依赖关系图、质量配置或安全规则。所以当出了问题，CI 要几分钟后才能捕获。SonarQube Agentic Analysis[2] 将验证环节前移到了 Agent 的内部循环中。在常规 CI 运行期间，SonarQube 会存储完整的项目上下文——包括依赖项、编译产物、类型信息和构建配置。当 Agent 写入文件时，它会在工作流中途调用 SonarQube Agentic Analysis。

Agents（智能体）

AI Agent 格局演变：2022-2026[4]

AI Agent 领域最大的变化并不是让模型变得更聪明。模型确实在进步，但更关键的是让模型周围的环境变得更聪明。以下是 Agent 工程在短短 4 年间经历的三个阶段：

第一阶段：权重（Weights）（2022）

一切都围绕模型本身。更大的模型、更多的数据、更好的训练。Scaling Laws（缩放定律）表明进步来自于更多的参数。**RLHF（基于人类反馈的强化学习）**和 Fine-tuning（微调） 是这个阶段塑造模型行为的关键手段。如果你想要更好的 Agent，就去训练一个更好的模型。这对单轮任务效果很好，但很快就触及了瓶颈：更新一个事实意味着重新训练；审计模型行为几乎不可能；而用一组固定的权重为数百万用户实现个性化也做不到。

第二阶段：上下文（Context）（2023-2024）

这个阶段的关键认知是：你不一定要改变模型，你可以改变模型看到的内容。Prompt Engineering（提示工程）、Few-shot Examples（少样本示例）、Chain-of-Thought（思维链）和 RAG（检索增强生成） 引领了这个阶段。 突然间，同一个冻结的模型可以根据你放在它面前的内容产生完全不同的行为。开发者们不再微调模型，转而迭代 Prompt 和检索管道。这更便宜、更快，效果也出奇地好。但 Context Window（上下文窗口）是有限的。过长的 Prompt 会引入噪声。模型对中间部分的注意力分布不均匀——"Lost in the Middle（中间遗失）"问题是真实存在的。 而且每次新会话都从零开始，完全没有之前发生过什么的记忆。上下文让 Agent 变得灵活，但没有让它们变得可靠。

第三阶段：框架工程（Harness Engineering）（2025-2026）

这就是我们现在所处的阶段。 核心问题从"我们应该告诉模型什么？"变成了**“模型应该在什么样的环境中运行？”** 模型不再是唯一的智能载体。它坐在一个 Harness（框架） 内部，包含持久化记忆、可复用技能、标准化协议（如 MCP 和 A2A）、执行沙箱、审批网关和可观测性层。 模型保持不变，改变的是它被要求解决的任务。举个例子：一个编码 Agent 被要求实现一个功能、运行测试并提交 PR。没有 Harness 时，模型必须将代码仓库结构、项目约定、工作流状态和工具交互全部塞进一个脆弱的 Prompt 中。有了 Harness，持久化记忆提供上下文，技能文件编码约定，协议化接口强制执行正确的 Schema，运行时负责编排步骤和处理故障。同一个模型，完全不同的可靠性。三个阶段的模式很简单：

• 权重将知识编码在参数中（快但僵硬）
• 上下文将知识暂存在 Prompt 中（灵活但短暂）
• 框架将知识外化到持久化基础设施中（可靠且可治理）

每个阶段并没有取代前一个阶段，而是在已有基础上构建。权重仍然重要，上下文工程同样如此。但重心已经向外转移。 如今 Agent 可靠性方面最关键的改进，很少来自更换基座模型，而是来自更好的记忆检索、更精准的技能加载、更严格的执行治理和更智能的上下文预算管理。构建更好的 Agent，越来越意味着为模型构建更好的运行环境。有一篇很好的论文对此进行了系统梳理，题为《Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering》。点此阅读论文 →[5] 我们还发布了这篇深度文章[6]，深入介绍了 Agent Harness 工程，涵盖编排循环、工具、记忆、上下文管理以及将无状态 LLM 转变为有能力 Agent 的一切要素。点此阅读 Agent Harness 文章 →[7]

深度学习（Deep Learning）

Dropout 究竟是如何工作的[8]

关于 Dropout，大家通常了解的是：

• 它在神经网络中随机将神经元置零。
• 它仅在训练时随机应用。

但这里还有一个被忽略的细节。让我们深入了解！

---

假设有一个神经元，其输入由前一个隐藏层的 100 个神经元计算得出（训练时）： 为了简化，我们假设：

• 每个黄色神经元的激活值为 1。
• 从黄色神经元到蓝色神经元的边权重也为 1。

因此，蓝色神经元收到的输入为 100： 现在，假设训练时 Dropout 率为 40%，那么大约 40% 的黄色神经元激活值会被置零。因此，蓝色神经元收到的输入大约为 60： 但如果同样的情况出现在推理阶段，蓝色神经元收到的输入将是 100（因为不会有 Dropout）。因此，在相同条件下：

• 训练时收到的输入 → 60。
• 推理时收到的输入 → 100。

本质上，训练时神经元的平均输入显著低于推理时收到的输入。 这意味着 Dropout 会影响激活值的尺度（Scale），我们需要确保模型保持一致。为了解决这个问题，Dropout 在训练时还会将所有激活值乘以一个 1/(1-p) 的缩放因子，其中 p 是 Dropout 率。例如，对于输入为 60 的神经元（p=40%）： 缩放后神经元恢复到了期望的范围，使训练和推理阶段保持一致。我们也可以通过实验验证这一点。首先，定义一个 Dropout 层： 接着，创建一个随机张量并应用 Dropout： 在上面的输出中，注意保留的值变大了：

• 第二个值从 0.13 → 0.16。
• 第三个值从 0.93 → 1.16。
• 以此类推……

我们还可以验证保留的值与对输入张量乘以 1/(1-p) 的结果一致： 在评估模式（Evaluation Mode）下执行相同操作，既不会丢弃也不会缩放，符合预期： 这个缩放步骤至关重要，因为它维持了训练和推理阶段之间的数值一致性。到这里，你就 100% 了解 Dropout 的工作原理了。以下是一些我们很少看到有人讨论的其他"隐藏细节"：

1）为什么 Sklearn 的逻辑回归（Logistic Regression）没有学习率超参数？[9]

• 梯度下降（Gradient Descent）是训练逻辑回归的典型方法。

• 但既然如此，为什么 sklearn 的实现中没有学习率超参数（α）？

• 而且参数列表中有 ‘max_iter’ 参数，直觉上看起来类似于 Epochs（训练轮数）。

• 有了 Epochs 却没有学习率（α），那我们怎么用 SGD 更新模型参数呢？
• 在这里了解答案：为什么 Sklearn 的逻辑回归没有学习率超参数？[10]

2）为什么 Bagging 在降低方差方面效果如此惊人？[11]

• 大家都说必须对训练数据集进行有放回抽样（Bootstrap Sampling）。为什么？
• 以及如何用数学公式化 Bagging 的思想并证明方差降低。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】