简介

文章讨论了大语言模型智能体的环境扩展方法，提出并阐述了生成-执行反馈(GEF)循环范式。从任务生成、执行和反馈三阶段对环境扩展方法进行系统性分类，分析了基准、策略与应用场景，展望了智能体智能发展方向。这种"环境中心"视角强调环境作为经验数据生产者的重要性，为提升智能体自适应行为与长期决策能力提供了新思路。

---

基于大语言模型（LLM）的智能体已经能够在多个领域自主完成复杂任务。然而，若要进一步培养其自适应行为与长期决策等能力，仅依赖基于人类知识构建的静态数据集仍远远不够。这类数据集不仅构建成本高昂，还缺乏动态性与真实性。越来越多的共识认为，智能体应直接与环境交互，并通过强化学习从经验中学习。

我们将这一迭代过程形式化为 生成–执行–反馈（Generation–Execution–Feedback, GEF）循环：其中，环境通过生成任务来挑战智能体；智能体在任务执行过程中采取行动，环境据此返回观测；环境随后对智能体的轨迹提供评估性反馈，支持其后续学习。在该范式下，环境成为经验数据不可或缺的生产者，因此亟需朝着更高的复杂度、真实性与交互性方向扩展规模。

在本综述中，我们从开创性的“环境中心”视角出发，对环境扩展的代表性方法进行系统性回顾，并按 GEF 循环的三个阶段——任务生成、任务执行与任务反馈——进行梳理。此外，我们还分析了相关基准、实现策略与应用场景，以整合当前零散的进展，并展望智能体智能未来的发展方向。

一、引言

大语言模型（LLM）的快速发展正在推动人工智能领域的范式性转变，催生了大量关于基于 LLM 的智能体研究（Luo et al., 2025b; Xi et al., 2025）。此类智能体继承了基础模型强大的推理与任务分解能力，并在配备工具使用、记忆等模块后，能够执行动作、与真实或模拟环境交互、随时间积累经验，并不断改进自身行为。这一设计已在多个领域取得显著进展，包括自动化编程（Qwen Team, 2025; Anthropic, 2025）、交互式网页导航（OpenAI, 2025a; He et al., 2025）、工具使用（Zhang et al., 2025e; Anthropic, 2024）以及深度研究（Tongyi DeepResearch Team, 2025; OpenAI, 2025b; Google DeepMind, 2024）。

然而，随着智能体能力的不断提升，仅依靠在静态数据集上对预训练模型进行监督微调（SFT），已经难以实现超越人类水平的智能（Huang et al., 2025a; Su et al., 2025a; Zhao et al., 2025）。这类数据集通常由人工标注或在人工监督下构建，因此不仅成本高、难以规模化生产，而且天然受限于人类知识水平，缺乏真实性与适应性。相比之下，强化学习提供了一种更契合的训练范式（Tao et al., 2024; Zhang et al., 2025a），使智能体能够在环境中探索、积累经验，并最终获得新的知识或技能。

我们将这一交互式过程形式化为 生成–执行–反馈（Generation–Execution–Feedback, GEF）循环，如图 1(A) 所示。在每一轮迭代中，环境首先生成多样化的任务；随后智能体在环境中执行任务并产生动作–观测轨迹；接着环境对这些轨迹进行评估，并保留有价值的经验用于后续训练。持续迭代可逐步优化策略并扩展智能体能力。值得注意的是，与先前研究（Gao et al., 2025）不同，我们对“环境”采用了更广泛的定义：智能体外部的一切，包括状态空间、可执行动作空间、用于交互与评估的反馈设计、以及用户与其他智能体的活动，都被视为环境的一部分。在此背景下，环境不再是智能体活动的被动容器，而是体验数据的主动生产者，这凸显了将环境扩展至更加复杂、真实且交互丰富世界的重要性（CAMEL-AI, 2025）。

近期研究从多个角度拥抱了这一环境扩展趋势。例如，AgentGen（Hu et al., 2025c）、AgentGym（Xi et al., 2024）与 GEM（Liu et al., 2025b）构建了异质化环境以提升任务生成的多样性；RZero（Huang et al., 2025a）提出了挑战者–求解者框架，可自主生成难度不断提升的任务；RandomWorld（Sullivan et al., 2025）通过程序化生成大量工具来提升智能体可用工具的交互性；ARE（Andrews et al., 2025）开发了事件驱动环境，支持环境与智能体之间的异步交互，从而扩展更符合现实的环境动态。然而，这些研究方向之间仍缺乏系统性的关联分析。

为此，我们全面梳理当前的环境扩展方法，并提出与 GEF 循环阶段相一致的统一分类体系，从一个开创性的“环境中心”视角出发。在任务生成阶段，我们将环境扩展方法划分为复杂度扩展、动态性扩展与多样性扩展，这三者共同描述了环境持续生成具挑战性、自适应且多样化任务的能力。在任务执行阶段，我们重点关注交互性与真实性，因为这些属性决定了智能体学习所依赖的交互数据的丰富性与逼真度。在反馈阶段，我们从密度、粒度、自动化程度、客观性与鲁棒性五个维度对评估信号的扩展进行分类。

在上述分类体系之外，我们还分析了当前的评测基准、实现框架、应用场景以及未来研究方向。图 1(B) 展示了环境扩展的总体概览，代表性工作如图 2 所示。

本文结构安排如下：我们首先在第 §2 和附录 §A 中介绍背景与概念框架；随后基于三阶段分类体系分别讨论任务生成（§3）、任务执行（§4）与反馈（§5）；接着在附录 §B 讨论评测基准，在第 §6 介绍实现框架，并在附录 §C 中讨论应用场景；最后在 §7 展望未来研究方向。

二、如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】