前言

  详解强化学习算法。依次介绍 REINFORCE、PPO、GRPO、GSPO、DAPO、SAPO。
  通俗易懂的大模型强化学习（一）
  通俗易懂的大模型强化学习（二）
  通俗易懂的大模型强化学习（三）

一、重要概念定义

1. 策略：智能体在看到状态 $s_t$ 的情况下，执行的动作服从概率分布 ${\pi }_{\theta }(\cdot |s_t)$。也就是此时智能体是以一定概率执行某个动作 $a_t$。
   $$a_t\sim {\pi }_{\theta }(\cdot |s_t)\text{\hspace{1em}(1)}$$
2. 奖励：奖励由当前状态 $s_t$、已经执行的动作 $a_t$和下一步的状态 $s_{t+1}$ 共同决定。
   • 单步奖励：
     $$r_t=R(s_t,a_t,s_{t+1})\text{\hspace{1em}(2)}$$
     • 奖励和策略无关
     • 用于评估当前动作的好坏，指导智能体的动作选择。
   • T步累积奖励：T步累积奖励等于一条运动轨迹/一个回合/一个rollout后的单步奖励的累加。
     $$R(\tau )=\sum _{t=0}^{T-1}{r}_t\text{\hspace{1em}(3)}$$
   • T步累积折扣奖励：
     $$R(\tau )=\sum _{t=0}^{T-1}{\gamma }^t{r}_t\text{\hspace{1em}(4)}$$
     这里$\gamma \in (0,1)$。
3. 运动轨迹：智能体和环境做一系列（一回合）交互后得到的 state、action 和 reward 的序列，运动轨迹也被称为 episodes 或 rollouts，假设智能体和环境交互了 $T$ 次：
   $$\tau =(s_0,a_0,r_0,s_1,a_1,r_1,\dots ,s_{T-1},a_{T-1},r_{T-1})$$
4. 轨迹概率：由于动作执行和状态转移都具备一定的随机性（其实在大模型场景，不太了解为什么状态转移具备随机性，前置文本 $s_t$ 和下一个token $a_t$都确定了，下一个文本序列 $s_{t+1}$ 应该就是确定的啊），因此上述轨迹 $\tau$ 是具有随机性的，出现的概率如下：
   $$\begin{array}{rl}P(\tau |{\pi }_{\theta })& =P(s_0){\pi }_{\theta }(a_0|s_0)P(s_1|s_0,a_0){\pi }_{\theta }(a_1|s_1)P(s_2|s_1,a_1)\cdots \\ & =P(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)P(s_{t+!}|s_t,a_t)\end{array}\text{\hspace{1em}(5)}$$
   其中：
   • $P(s_0)$：初始状态出现的概率；
   • $\pi (a_t|s_t)$：是策略 $\pi$ 在状态 $s_t$ 下选择动作 $a_t$ 的概率；
   • $P(s_{t+!}|s_t,a_t)$：是状态转移概率。

二、策略梯度算法

1. 策略目标：

$$\begin{array}{rl}J(\theta )& ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[\sum _{t=0}^{T-1}{r}_t]\\ & =\sum _{\tau }P(\tau |{\pi }_{\theta })R(\tau )\end{array}\text{\hspace{1em}(6)}$$

2. 策略梯度：
   $$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{\tau }R(\tau ){\nabla }_{\theta }P(\tau |{\pi }_{\theta })\\ & =\sum _{\tau }R(\tau )P(\tau |{\pi }_{\theta })\frac{{\nabla }_{\theta }P(\tau |{\pi }_{\theta })}{P(\tau |{\pi }_{\theta })}\\ & =\sum _{\tau }R(\tau )P(\tau |{\pi }_{\theta }){\nabla }_{\theta }logP(\tau |{\pi }_{\theta })\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau ){\nabla }_{\theta }logP(\tau |{\pi }_{\theta })]\end{array}\text{\hspace{1em}(7)}$$
   上述推导使用了对数导数的技巧：
   $$\begin{array}{rl}& {\nabla }_{\theta }logP(\tau |{\pi }_{\theta })=\frac{{\nabla }_{\theta }P(\tau |{\pi }_{\theta })}{P(\tau |{\pi }_{\theta })}\\ \Rightarrow & {\nabla }_{\theta }P(\tau |{\pi }_{\theta })=P(\tau |{\pi }_{\theta }){\nabla }_{\theta }logP(\tau |{\pi }_{\theta })\end{array}\text{\hspace{1em}(8)}$$
   又因为根据前文轨迹概率（等式(5)）的计算，有如下等式成立：
   $$\begin{array}{r}P(\tau |{\pi }_{\theta })=P(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)P(s_{t+!}|s_t,a_t)\end{array}\text{\hspace{1em}(9)}$$
   所以：
   $$\begin{array}{rl}{\nabla }_{\theta }logP(\tau |{\pi }_{\theta })& ={\nabla }_{\theta }[logP(s_0)+\sum _{t=0}^{T-1}logP(s_{t+!}|s_t,a_t)+\sum _{t=0}^{T-1}log{\pi }_{\theta }(a_t|s_t)]\\ & ={\nabla }_{\theta }logP(s_0)+\sum _{t=0}^{T-1}{\nabla }_{\theta }logP(s_{t+!}|s_t,a_t)+\sum _{t=0}^{T-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)]\\ & =\sum _{t=0}^{T-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)\end{array}\text{\hspace{1em}(10)}$$
   其中第二行到第三行的变化，是基于如下事实：
   • ${\nabla }_{\theta }logP(s_0)=0$，初始状态与参数$\theta$无关；
   • ${\nabla }_{\theta }logP(s_{t+!}|s_t,a_t)=0$，环境变化与参数$\theta$无关。

  将等式(10)带入等式(7)，可得如下策略梯度表达式：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau ){\nabla }_{\theta }logP(\tau |{\pi }_{\theta })]\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[\sum _{t=0}^{T-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)R(\tau )]\end{array}\text{\hspace{1em}(11)}$$

三、REINFORCE

  是策略梯度方法中的最基础、最原始的一种算法，由Williams在1992年提出。是第一个明确提出可以通过多次采样来估计等式(11)中的期望（用蒙特卡罗方法： 多次采样，平均值逼近理论期望）。
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[\sum _{t=0}^{T-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)R(\tau )]\\ & \approx \frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)R({\tau }_n)\end{array}\text{\hspace{1em}(12)}$$
  等式(12)中的$R({\tau }_n)={\sum }_{t=0}^{T_n-1}{r}_t$，来源于等式(3)。若采用累积折扣奖励，则$R({\tau }_n)={\sum }_{t=0}^{T_n-1}{\gamma }^t{r}_t$，来源于等式(4)。

1. REINFORCE的问题：方差很大，无法收敛。每一次梯度更新有两个方面会引起比较大的方差：
   • 去预估整体期望的时候，在每一步，都会与这个轨迹整体的回报 $R({\tau }_n)$ 相乘，相当于每一步都与整体的回报相关，引入了过去的噪声；
   • 梯度是利用蒙特卡罗方法采样多条轨迹近似计算，但不同轨迹的回报波动可能很剧烈，导致策略梯度估计不稳定，方差大。
2. REINFORCE的优化：
   • reward to go： 只关注每一步策略对于将来轨迹的影响，所以每一步的回报从当前策略开始算，而不是轨迹中的每一步都直接粗暴的与整个轨迹的回报计算。这也可以从策略角度说得通，当前的策略（$state\to action$）应该只对未来有影响，因为过去的已经发生了，无法产生影响。所以回报可以写为：
     $$\begin{array}{r}R({\tau }_n,t)=\sum _{t^{{}^{\prime }}=t}^{T_n-1}{r}_t^{{}^{\prime }}\end{array}\text{\hspace{1em}(13)}$$
     若采用累积折扣奖励，回报可写为：
     $$\begin{array}{r}R({\tau }_n,t)=\sum _{t^{{}^{\prime }}=t}^{T_n-1}{\gamma }^{t^{{}^{\prime }}-t}{r}_t^{{}^{\prime }}\end{array}\text{\hspace{1em}(14)}$$
   • 引入baseline：如果每次更新只看轨迹的回报，相当于只看绝对值，按照当前策略的回报绝对值去度量当前的价值，本身就是不合理的，相当于没有基准，只要回报不是负数，可能就会认为这个方向是好的，实际却不是这样。类似于 a 回报为20，b 回报为40，看似两个回报都是正向的，实际当前策略下的平均回报预期已经是30了，所以 a 本质是不推荐的优化方向。这时要引入当前状态下的预期回报作为baseline。
       那baseline如何获取？可以通过无参数的估计：使用过去训练步骤中回报的滑动平均值作为 baseline。这样可以衡量当前轨迹的回报与历史回报的差异，从而减少梯度估计的方差。Moving Average baseline可以用表示，则策略梯度可以表示为：
     $$\begin{array}{r}{\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{n=1}^N\sum _{t=0}^{T_n-1}{\nabla }_{\theta }log{\pi }_{\theta }(a_t^{(n)}|s_t^{(n)})(R({\tau }_n)-b_{MA})\end{array}\text{\hspace{1em}(15)}$$
3. 备注：无论是采用$R({\tau }_n)$，还是采用$R({\tau }_n,t)$，亦或是采用$R({\tau }_n)-b_{MA}$，都是回报的一种计算方式，PPO章节会介绍回报计算方式的多种形式，这里暂不过多介绍。

参考

1. 【RL第二篇】从策略梯度（Policy Gradient Algorithms）到REINFORCE算法原理详解
2. 强化学习入门第三章 从Reinforce到Actor-Critic到PPO，弄懂策略梯度算法
3. 人人都能看懂的RL-PPO理论知识
4. 强化学习一锅端：一文梳理从PPO到GSPO强化学习发展历程