最近半年以来，有关于 RL+Entropy 的研究非常的多。对于离散的动作空间 A , 策略 π 在状态 s 处的 entropy 为：

直观上而言，entropy 收敛到 0，意味着策略极化到某一个确定性的解上，并且不容易跳出来，这也是“收敛”两字的蕴含之意。

但一个问题是，到底背后发生了什么，导致了该现象发生？对于 softmax policy，即：

一、Entropy衰减，策略梯度幅度衰减

首先第一个理论结果我们已经写在 EMPG 论文中。

https://arxiv.org/pdf/2509.09265

这个理论结果说明了，对于 softmax 策略，状态 s 处，期望下关于 logits 的策略梯度范数直接等于 1-exp{-H2} 。

Renyi-2 entropy，即 H2，越小，例如接近 0，那么期望的策略梯度范数也接近 0。注意到我们一般讨论的 entropy 为信息熵，实际上是 Renyi-1 entropy。

Renyi entropy 在 order 上存在单调性，即 Renyi-1 entropy 大于 Renyi-2 entropy。

从而上述的理论结果可以推到下面的不等式：

实际上，这个定理的主要推导并不复杂。其背后的原理是：高概率 action 的策略梯度范数更小。而 entropy 越低，更容易产生高概率的 action，因此导致期望的梯度范数衰减。

二、Entropy衰减，策略Reverse KL移动幅度上界衰减

实际上，我们有下面一个定理，可以进一步佐证这个事情。假设我们有一个基础策略 π_θ，经过某个算法更新后（例如 PG），得到新的策略 π_θ+。

我们考虑状态 s 处的更新前后的 logits 向量的差，即：

那我们可以得到如下的不等式证明：

其中：

是一个根据泰勒展开得到的，关于 logits 移动幅度距离的高阶项。在 logits 移动距离幅度的不大的时候可以忽略。

因此如果只关注 RHS 的第一项，我们可以看到：

不等式证明：

为方便符号简单，我们记策略向量：

我们定义向量函数：

为以向量 z 作为 logits 与 π_s 的 KL 距离。于是根据泰勒展开，容易知道：

根据推导，我们可以得到（此处省略）：

从而直接推导我们可以得到：

其中（a）使用了幂等不等式，（b）实际上利用了第一个理论结果中的不等式。将这个二次项带入 KL 的泰勒展开，我们即得到了结果。

三、总结

从上述推导可以看到，这两个性质的出现，即 entropy 收敛导致的学习衰退，完全是由于 softmax 参数化的特殊的曲率导致的。

在之前的 RL 研究中使用牛顿法（如 NPG）或者换其他参数化（比如我自己文章的 Hadamard 参数下的 PG）y 一定程度上都能够克服这样的事情，避免陷在局部最优上出不来。

https://academic.oup.com/imaiai/article-pdf/doi/10.1093/imaiai/iaaf003/62206681/iaaf003.pdf

我们的 LLM+RL 的研究，仍然有机会去改进 softmax 参数化导致的特殊的学习 dynamic。

四、如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓