7B 小模型干翻 GPT-5？智能体 RL 的秘密，藏在这条训练流水线里

当强化学习从「单轮做题」走向「多轮干活」，训练难度陡增。Netflix 研究科学家万字综述六大智能体 RL 框架，拆解轨迹表示、环境规模化、数据合成、训练稳定四道难题——也解释了为什么 3B、7B 小模型能在智能体任务上反超 GPT-5。

最近，做强化学习的圈子被一份长文综述刷屏了。

6 月 22 日，Netflix 资深研究科学家、深度学习博士 Cameron Wolfe 在他 7.2 万订阅的通讯《Deep (Learning) Focus》上发布万字长文《Agentic RL: Frameworks and Best Practices》，把智能体强化学习（Agentic RL，下称「智能体 RL」）方向最重要的六个训练框架一口气梳理了一遍。

几乎同一时期，智谱在 GLM-5.2 的官方博客里披露了一个耐人寻味的技术决定：为了长程任务，他们放弃了当红的 GRPO，改回了更「古典」的 PPO。

一边是研究者密集产出训练框架，一边是头部大模型悄悄换算法。两件事指向同一个事实：强化学习的主战场，正在从「单轮做题」转向「多轮干活」。

而这份综述里还埋着一个更刺激的数据：经过智能体 RL 训练的 Qwen2.5 系列开源模型——甚至小到 3B——在多项智能体任务的平均通过率上，超过了 GPT-5、Claude-Sonnet-4 等一线闭源模型。

小模型凭什么？训练一个会用工具、能跑长任务的智能体，和训练一个会做题的推理模型，差别到底在哪？这篇文章我们把综述拆开讲透。

一、简单回顾：智能体到底是什么

别被花哨定义唬住。Wolfe 在综述里采用了知名博主 Simon Willison 式的极简说法：智能体，就是在一个循环里跑的 LLM——靠工具和自己的推理能力去解决复杂问题。

拆开看，一个智能体系统只有四块积木：

• LLM 主干（LLM Backbone）：负责思考和生成的模型本体，最好是推理模型——长程任务要求它会拆解问题、会自我反思、能从错误里爬出来；
• 指令（Instructions）：任务说明、领域知识、解题策略。写得太细会脆、难维护，写得太粗又管不住行为，要在简洁和具体之间找平衡；
• 工具（Tools）：API、命令行、MCP 服务……模型伸向外部世界的手；
• 环境（Environment）：有状态的外部世界——文件系统、数据库、网页。工具调用会改变它，它的反馈又会流回模型。

这四块积木装进一个智能体循环（Agentic Loop）：模型生成输出 → 执行工具调用 → 环境返回观察 → 检查终止条件，没完成就回到第一步。

以 Qwen3 为例，工具调用直接编码在 token 流里：模型生成 <tool_call> 片段就触发暂停、解析执行，结果包进 <tool_response> 塞回上下文，模型接着往下想。成熟的框架还会配上上下文管理（长任务做压缩、截断冗长报错）和记忆系统，但核心永远是那个循环。

智能体不是一个更大的模型，而是一个跑在循环里的模型。

二、换上数学镜头：单轮和多轮，差的不止一个「轮」

流程上，两种 RL 训练长得一样：先采样一批 rollout（对同一道题采多条完整轨迹），再用这批数据更新模型权重，如此往复。真正的分水岭在采样这一步。

用马尔可夫决策过程（MDP）的语言对比，五个要素几乎全变了。

单轮 RL 里，状态就是当前的 token 上下文，动作是选下一个 token，转移是确定性的「往后拼」，奖励通常只在结尾给一次。

多轮智能体 RL 里，状态变成了联合状态：模型看得见的上下文，加上模型看不见、却会被它改变的环境状态。转移也不再确定——工具超时、网页加载失败都可能发生。奖励除了终局的结果奖励，还常常混入步骤级的过程奖励。轨迹也从一串 token，变成多轮交互全记录。

这带来两个残酷的工程后果。

其一，每条 rollout 都要一座「独立小世界」。 智能体的动作会改环境；GRPO 一道题要采一组轨迹，不隔离就会互相污染。所以每条轨迹都得配一个独立环境实例，通常用 Docker 一类沙箱实现。

其二，rollout 时长方差巨大，同步训练必然「饿死」GPU。 有的轨迹三轮结束，有的三十轮还在跑。于是主流方案都是异步 RL 加训推分离架构：推理引擎不停产轨迹，训练引擎攒够就更新。

一句话：单轮 RL 是算法问题，多轮 RL 是算法问题加系统问题。

三、六个框架，其实在解四道难题

综述覆盖了六个代表性框架：ToRL、AgentGym-RL、Agent-R1、AgentRL、AutoForge、RAGEN（及续作 RAGEN-2）。逐篇讲太散——放在一起看，它们其实在回答同样四个问题。

难题①：多轮轨迹，到底怎么存？

单轮时代，一条轨迹就是一串 token。多轮时代，轨迹里混着指令、模型输出、工具调用、环境观察、步骤奖励——存成平铺 token 序列会丢掉步骤边界；存成消息列表，训练时重拼提示、重新分词，又会产生 Agent-R1 团队命名的重分词漂移（Retokenization Drift）：分词不可逆，采样时的 token 和训练时的 token 对不上。

Agent-R1 的解法是步级轨迹：以「一次交互」为单位结构化存储——当前状态、动作原始 token、环境反馈、该步奖励，边界显式、token 原样保留。好处不止对齐：有了步级结构，上下文怎么拼就成了可实验的自由变量。他们在 GSM8K 环境上试了三种策略——全量追加、滑动窗口、LLM 摘要——结果滑动窗口最好。上下文不是留得越多越好，「少即是多」在这里是实验结论。

配套的还有一个几乎所有框架都在用的细节：动作掩码（Action Mask）——损失只算模型自己生成的 token，指令和环境返回的内容一律屏蔽，不能让模型「学着去预测」工具输出。

难题②：环境，怎么规模化？

一次更新动辄上千条并发 rollout，每条一个隔离环境——启动、执行、销毁任何一环变慢，整个训练就堵死。

DeepSWE 团队的经历很有画面感：每轮迭代并行拉起 512 个 Docker 容器，直接把 Docker 的 API server 打挂、守护进程崩溃，最后被迫把环境调度接进 Kubernetes（K8s），让编排层把容器摊到一整个节点池上。

AgentRL 则把这套做法系统化：每个环境容器化为隔离执行单元，由中央控制器统一调度上千个并发实例；对上层暴露统一的函数调用式接口，新环境按同一套生命周期规范即插即用。AgentGym-RL 走的是类似路线——每个环境是独立 HTTP 服务，还顺手把 WebArena 从「一进程一浏览器」改造成单服务器管多个 Chromium 实例。

异步的副作用是数据会「变陈」。AgentRL 的对策朴素有效：完成的轨迹进一个有上限的队列，每次更新把队列抽干，保证训练数据尽量贴近最新策略。

难题③：训练环境和任务，从哪来？

真实环境加可靠标注，又贵又慢，这是智能体 RL 最硬的瓶颈。AutoForge 的答案是：从工具文档出发，自动合成环境和任务——细节放到第五节的案例里展开。

选题同样讲究。ToRL 用 LIMR 方法追踪每道题在训练过程中的奖励轨迹，优先选「模型此刻正好学得会」的题，而不是最难或随机的题。

难题④：训练，怎么才能不崩？

多轮 RL 的崩法花样繁多。RAGEN 团队给最典型的一种起了名字：回声陷阱（Echo Trap）——模型在自己生成的轨迹上反复训练，过度强化早期尝到甜头的推理套路，行为多样性坍缩。三个报警信号：训练奖励见顶回落、组内奖励方差和输出熵骤降、梯度范数突然尖峰。

解药是一套组合拳（StarPO-S）：去掉 KL 正则松绑探索、用 DAPO 的 Clip-Higher 防熵坍缩，再做奖励方差选题——按奖励标准差降序挑任务。方差大意味着模型对这道题「有对有错」，恰恰是信号量最足的题。续作 RAGEN-2 更进一步：光看熵不够，模型可能对每个输入都输出「看似多样、实则与输入无关」的固定模板，这叫模板坍缩（Template Collapse），得用互信息类指标诊断，再按信噪比过滤低信号任务（保留率 0.9）。

AgentGym-RL 贡献了另一味药：课程学习。他们发现一上来就给 10 轮交互预算，性能先涨后崩；改成 ScalingInter-RL——交互轮数按 8→12→15 分三阶段（每阶段 80 步）逐步放开——先在短任务上打牢基本功，再解锁长程规划，训练稳得多。回报也实在：7B 模型在网页搜索和深度研究任务上分别拿到 26% 和 38.25% 的成功率，超过 GPT-4o 和参数量十倍于它的开源模型。

多任务混训还有一个坑：不同环境的奖励尺度不同，谁数值大谁主导梯度。AgentRL 的任务级优势归一化、AutoForge 的 ERPO（环境级优势估计）是同一思路：把归一化范围从「同题一组」拉宽到「同任务、同环境的全部轨迹」，不让任何单一任务绑架更新方向。

四、工业界的交叉印证

学术框架之外，几条工业界的一手信息，和四道难题严丝合缝地对上了。

最重的一条来自 GLM-5.2。智谱解释放弃 GRPO 的原因，大意是：长程任务的执行轨迹极长，一旦被上下文压缩切成多段子轨迹，同一道题下不同 rollout 的可训练片段数量和长度差异巨大，GRPO 赖以生存的组内相对比较就失效了——于是转向基于 critic 的 PPO，从单条轨迹直接估计 token 级优势。这正是难题①（轨迹表示）和难题④（训练稳定）在超长任务下的极端形态。

Anthropic 在长程智能体实践里的教训则呼应了课程思想。他们发现智能体「总想一口气把整个应用写完」，最终解法是让它小步快跑、按功能推进，并在每个会话结束时把环境收拾干净。这与 ScalingInter-RL「先短后长」的设计不谋而合——无论训练还是推理，长程任务都得拆着来。

还有一个反直觉实验来自 ToRL：给「跑不通的代码」加 -0.5 的惩罚，性能不升反降——惩罚让模型写代码变得畏手畏脚。过程奖励是把双刃剑，加之前先想清楚它会不会教坏模型。 同一项工作里也有正面观察：训练中模型用代码解题的比例从 40% 一路涨到 80%，好的工具使用习惯确实能被 RL 教出来。

五、落地长什么样？一条合成任务的「出厂记录」

难题③里的 AutoForge 值得单讲一个例子，因为它把「环境即数据」做到了极致。

假设手头只有一份项目管理工具的 API 文档，流水线这样跑：

• 第一步，生成环境。 让 LLM 读文档，生成键值对形式的状态空间（projects 表、users 表……）和每个工具的 Python 实现，create_project、delete_project、get_project_id_by_name 各就各位；
• 第二步，构建任务。 让 LLM 按「谁的输出是谁的输入」把工具连成有向图，在图上随机游走采出工具序列，多条序列合并去重，再插入「此处需要模型推理」的思考节点，织成一张任务 DAG；
• 第三步，实例化。 给状态填上具体值，把 DAG 翻译成任务意图和用户口吻的提问——「你好，Auro 项目我不需要了，帮我删掉；另外新建一个叫 Lumina 的项目」——最后把标准工具序列真的在环境里执行一遍，得到黄金终态。

训练时再加一个模拟用户智能体：由它发起任务、回答追问、判断需求是否满足。奖励规则干脆利落——终局环境状态与黄金终态完全一致记 1 分，否则 0 分。为什么盯终态而不盯过程？因为条条大路通罗马，不同的工具调用顺序可能都是对的。

用这条流水线，团队合成了 10 个环境、共 1078 个任务（合成用 Qwen3-235B 级别模型），拿去训练 Qwen3-30B。结果不只在 τ-Bench、VitaBench 这类同域基准上涨分——在换了提示格式、换了全新工具、甚至从英文换成中文评测的 AceBench-zh 上，模型依然有提升。

回头映射一下：环境合成解决难题③；模拟用户与「交错思考」（每一步的思考痕迹全程保留，实验证明明显涨分）优化了难题①的轨迹质量；剔除「模拟用户自己犯错」的轨迹、环境级优势估计则服务于难题④的稳定性。一个案例，四道难题全走了一遍。

六、七条能直接抄的实战清单

把综述里被反复验证的做法拧干，是这七条：

• 1. 动作掩码是底线：只对模型自己生成的 token 计算策略梯度。进阶玩法（Echo、PaW 等新工作）：环境 token 别浪费，改用 SFT 目标去学——相当于顺手学了个世界模型；
• 2. 优势归一化拉宽口径：从「同题一组」扩到「同任务全部轨迹」，多任务混训不打架；
• 3. rollout 异步化、训推分离：数据队列设上限、每步抽干，控制数据陈旧度；
• 4. 环境容器化，编排交给 K8s：本地 Docker 扛不住上千并发；
• 5. 交互轮数按课程表放开：先短后长（8→12→15），别让模型一上来就跑马拉松；
• 6. 用奖励方差挑任务：全对全错的题没信号，有对有错的题才值得训；
• 7. 上下文管理当超参调：全量追加、滑动窗口、LLM 摘要各试一遍，别默认「都留着」。

写在最后

看完这份综述，最大的感受是：智能体 RL 的竞争，正在从「调一个损失函数」变成「运营一座训练工厂」。

算法差异当然存在——GRPO、PPO、REINFORCE 在不同环境里各有胜负——但真正拉开差距的，是轨迹存储的严谨度、环境编排的吞吐量、任务合成的流水线、训练崩溃的预警系统。这些东西没有一个会出现在论文的公式区，却决定了同一套算法是起飞还是崩盘。

这也回答了开头的问题：3B、7B 的小模型为什么能在智能体任务上反超顶级闭源模型？因为在这类任务上，决定上限的不再只是参数量，而是模型有没有在足够真实、足够多样、足够稳定的循环里被训练过。环境，正在成为新的数据；训练基础设施，正在成为新的护城河。

你觉得下一个被「环境 + RL」重塑的领域会是什么——代码、办公自动化，还是科研本身？ 欢迎在评论区聊聊。

---

参考内容

• Cameron R. Wolfe《Agentic RL: Frameworks and Best Practices》，Deep (Learning) Focus 通讯
• Li et al.《ToRL: Scaling Tool-Integrated RL》，arXiv
• Xi et al.《AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning》，arXiv
• Cheng et al.《Agent-R1: A Unified and Modular Framework for Agentic Reinforcement Learning》，arXiv
• Zhang et al.《AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework》，arXiv
• Cai et al.《AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning》，arXiv
• Wang et al.《RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning》及续作 RAGEN-2，arXiv
• 智谱《GLM-5.2: Built for Long-Horizon Tasks》，官方博客
• Luo et al.《DeepSWE: Training a Fully Open-sourced, State-of-the-Art Coding Agent by Scaling RL》，技术报告
• Anthropic《Effective harnesses for long-running agents》《Effective context engineering for AI agents》，官方工程博客