强化学习（ RL）在提升大语言模型（LLMs）推理能力方面展现出巨大潜力。然而，现有方法在直接使用难度混杂的样本进行训练时，常出现梯度饥饿（Gradient Starvation）和策略退化（Policy Degradation）问题。为缓解这些问题，现有研究尝试利用思维链（CoT）数据，但高质量CoT标注的构建过程极为耗时费力。另一种思路是采用课程学习（Curriculum Learning）策略，但这类方法常面临诸难度不匹配、依赖人工设计课程以及灾难性遗忘等挑战。

为解决上述问题，阿里的研究者们提出了一种自适应课程强化学习框架 AdaCuRL。该框架融合了由粗到精的难度评估机制与自适应课程调度策略，动态对齐数据难度与模型能力，并引入数据重温机制以缓解灾难性遗忘。此外，AdaCuRL采用自适应参考策略与稀疏KL策略来预防策略退化。在多个推理基准上的大量实验表明，AdaCuRL 在LLMs和MLLMs上均取得显著的性能提升。

• 论文标题：

  AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting

• 论文链接：

  https://arxiv.org/pdf/2511.09478

一、方法

尽管基于强化学习的方法取得了显著成功，但其性能在很大程度上依赖于训练数据的课程设计。当模型在难度混杂的数据上进行训练时，会出现严重的数据低效问题。这种低效源于样本难度与GRPO分组内rollout相对优势之间的内在耦合关系。

当训练样本的难度相对于当前策略过高或过低时，奖励信号往往会退化为二元状态：简单样本奖励值普遍为1，而困难样本的奖励值则始终为0。这些无效样本最终引发两大核心困境：

（i）梯度饥饿：发生在所有探索性rollout产生的奖励值均为1或0时，导致优势函数崩溃策略梯度失效，模型无法获得任何有意义的学习信号。

（ii）策略退化：出现在对无效样本施加的KL散度惩罚主导了优化信号时。这会迫使策略退化为保守的参考模型，从而削弱了通过强化学习获得的推理能力。

为此，研究团队提出AdaCuRL，旨在提升GRPO训练的数据效率，从而推动LLMs和MLLMs推理能力的渐进式提升。

图2：AdaCuRL的整体框架。难度评估（左侧）从大规模数据集中采样一个训练子集，使其匹配目标难度分布，并将数据按从易到难排序。课程强化学习（右侧）在训练过程中监控平均准确率奖励，以评估模型对当前难度级别的掌握程度，并逐步引入更具挑战性的样本。此外，AdaCuRL还结合了稀疏KL和自适应参考机制，以防止模型推理能力退化。

（1）由粗到细的难度评估策略（Coarse-to-Fine Difficulty Estimation）

• 粗粒度阶段

对于每个问题，模型生成五个答案。根据正确答案的数量，将每个问题分配到三个类别中的一个。然后，按照预设的比例从每个类别中采样，同时确保所选样本在不同数据集间保持均匀分布。形式化定义为： ci∈{0,…,5} 表示问题 i 的正确答案数量，定义三个区间：，。

并采样：

其中 ，ρk 是第 k 个类别的预设采样比例。

• 细粒度阶段

对于集合 S 中的每个问题，生成 N（N≫5）个答案，以进行精确的难度估计。令 c(q) 表示问题 q在这 N 次尝试中正确解的数量。将其难度得分定义为：

过滤掉难度高于 0.95 或低于 0.05 的问题，以避免过于困难或过于简单的情况。剩余的数据按难度升序排列，构成最终的训练数据集 D。

（2）课程强化学习

按难度对数据集 D 进行排序后，将其划分为 K 个大小相等的连续桶 {B1,B2,…,BK}：

其中， q1,…,q∣D∣ 按从易到难的顺序排列。

当前的训练子集 Dc 初始化为第一个桶 B1。训练过程中，每个更新阶段 t 将下一个桶合并到 Dc 中，以缓解灾难性遗忘：

训练过程持续进行，直到 Dc=D。这种渐进式扩展在初始阶段保留了简单样本的知识，同时随着模型推理能力的提升逐步引入更具挑战性的样本。

（i）奖励函数

当同时采用格式奖励（format reward）和准确率奖励（accuracy reward）时。研究团队观察到格式奖励会快速收敛，而准确率奖励（特别是来自高难度区间的奖励）始终维持在较低水平且提升缓慢。这种失衡会影响优势函数，使其被格式奖励主导，从而阻碍策略有效学习正确的推理路径。因此，在训练步数达到Tf后，仅基于准确率奖励来更新策略。

（ii）数据桶更新策略

为了自适应地衡量学习进展，研究团队在训练过程中使用准确率奖励来评估模型对当前桶中样本的掌握程度，并将每个样本的奖励记录在奖励缓冲区 Rb中。首先，需要维护一个能力得分 cs∈[0,1]，其初始值为 cs(0)=0，并按如下方式更新：

其中，是最近 M 个训练样本的平均奖励，max(1−cs,γ) 作为更新步长的衰减因子。随着 cs 增大，更新步长会逐渐变小，模拟人类学习过程中在更难的数据上花费更多时间，而 γ 则防止更新速率变得过小。

当 Rb 包含 M 个样本时，更新 cs 并检查课程训练集 Dc 是否应进行扩展。课程扩展条件定义如下：

当下一个桶索引 k 满足上述公式时，桶 Bk 将被合并到 Dc中。

为了准确评估模型在新引入数据后的表现，仅从最新合并的桶中抽取的样本才用于计算 。在合并 后，能力得分被重新初始化为 ：以确保准确反映策略模型对新增数据的掌握程度。

（iii）KL散度设计（KL Divergence Design）

• 条件化KL计算。当某个rollout组内的所有奖励均为0或1时，从该组的损失计算中排除KL散度项，从而能够更有效地提升模型的推理能力。在AdaCuRL中，GRPO的损失函数定义如下：

• 参考模型重置。每次数据桶更新后，将参考模型 πref 重置为当前策略模型 πθ，从而避免随着策略模型推理能力增强，仍过度对齐初始参考模型

（3）自定步调机制（Self-pacing Mechanism）

完成第一轮基于由粗到细的难度评估和课程强化学习的训练后，模型已具备更强的推理能力。为持续提升性能，研究团队引入一种自定步调机制Re-AdaCuRL。

使用更新的策略模型 πθ对由粗到细的难度评估进行重新校准，并在采样过程中过滤掉已在前一轮训练过的数据。将Difficulty(1)(q) 表示为重新估计的难度得分。为保留已获得的推理能力，在第二轮迭代中丢弃难度得分低于阈值（例如 0.2）的样本：

将剩余数据 D′ 按更新后的难度升序排列，重新划分为 K个桶：

接着，研究团队在这些更新后的桶上重复上述的训练流程。该自定步调机制使得先前因难度过高而被排除的数据有机会被重新访问，同时过滤掉模型已能高置信度解答的简单样本。因此，当前策略πθ能够持续在信息量逐步提升的数据上进行训练，从而进一步强化模型推理能力。

二、评估

表1：MLLMs在数学推理（左）和通用推理（右）基准上的方法对比。

表1和表2全面比较了不同方法在MLLMs和LLMs上的各类推理基准表现。可以发现，无论是在多模态模型还是纯语言模型上，AdaCuRL 在所有基准测试和不同模型规模下均优于基线方法。

原始的 GRPO 方法，在Qwen2.5-VL-3B和7B模型上分别将数学推理提升了1.05%和0.24%；在Qwen2.5-Math-1.5B和7B模型上分别取得3.56%和2.84%提升。

在数学推理任务中，AdaCuRL对比原始的 GRPO在Qwen2.5-VL-3B和7B模型上分别实现了3.17%和2.16%的性能提升；在Qwen2.5-Math-1.5B和7B模型上分别取得了 3.45% 和 5.53% 的提升。这些结果凸显了逐步增加训练难度对于增强推理能力的重要性，并证明了 AdaCuRL 在MLLMs和LLMs任务中均有效。

表2：LLMs在数学推理基准上的方法对比。结果在 AIME24@16、AMC23@16 和 others@3 上取平均值。“Oly.” 表示 Olympiad-bench。

如表1所示，Re-AdaCuRL 在 Qwen2.5-VL-3B 和 7B 模型的数学推理任务上分别额外提升了 1.37% 和 1.03%。如表3所示，G1 组的样本减少而 G3 组的样本增加，这表明模型的数学推理能力得到了提升。为了更充分地利用数据集，研究团队采用更新后的策略重新评估题目难度并进行二次采样，基于重新采样的数据继续开展训练，从而进一步提升模型推理能力。

表3：使用 AdaCuRL 进行一轮训练前后数据的粗粒度分布情况。

三、如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】