参考资料：神经网络与深度学习

深度强化学习基础概念

强化学习也是机器学习中的一个重要分支．强化学习和监督学习的不同在于，强化学习问题不需要给出“正确”策略作为监督信息，只需要给出策略的（延迟）回报，并通过调整策略来取得最大化的期望回报。其与控制理论息息相关。

1.强化学习定义

智能体与环境进行交互

将智能体与环境的交互看作离散的时间序列．智能体从感知到的初始环境 $s_0$ 开始，然后决定做一个相应的动作 $a_0$ ，环境相应地发生改变到新的状态 $s_1$ ，并反馈给智能体一个即时奖励 $r_1$ ，然后智能体又根据状态 $s_1$ 做一个动作 $a_1$ ，环境相应改变为 $s_2$ ，并反馈奖励 $r_2$ ．这样的交互可以一直进行下去，其中$r_t=r\left(s_{t-1},a_{t-1},s_t\right)$ 是第 $t$ 时刻的即时奖励。

策略：智能体的策略（Policy）就是智能体如何根据环境状态 $s$ 来决定下一步的动作 $a$ ，通常可以分为确定性策略和随机性策略两种。策略 $\pi (a\mid s)$ 是智能体根据环境状态 $s$ 来决定下一步动作 $a$ 的函数．
其中随机性策略表明在给定环境状态时，智能体选择某个动作$a$的概率分布：
$$\begin{array}{rl}\pi (a\mid s)& \triangleq p(a\mid s)\\ \sum _{a\in \mathcal{A}}\pi (a\mid s)& =1\end{array}$$

2.马尔可夫决策过程

智能体与环境的交互过程可以看作一个马尔可夫决策过程。
对于一个马尔可夫过程，下一个时刻状态只取决于当前状态，即
$$\begin{array}{r}p\left(s_{t+1}\mid s_t,\cdots ,s_0\right)=p\left(s_{t+1}\mid s_t\right)\end{array}$$
其中 $p\left(s_{t+1}\mid s_t\right)$ 称为状态转移概率，满足${\sum }_{s_{t+1}\in \mathcal{S}}p\left(s_{t+1}\mid s_t\right)=1$ 。
马尔可夫决策过程在马尔可夫过程中加入一个额外的变量：动作 $a$ ，使得下一个时刻的状态 $s_{t+1}$ 不但和当前时刻的状态 $s_t$ 相关，而且和动作 $a_t$ 相关，即
$$p\left(s_{t+1}\mid s_t,a_t,\cdots ,s_0,a_0\right)=p\left(s_{t+1}\mid s_t,a_t\right)$$
其中$p\left(s_{t+1}\mid s_t,a_t\right)$ 为状态转移概率。
当给定策略$\pi (a\mid s)$时，马尔可夫决策过程的一个轨迹$\tau =s_0,a_0,s_1,r_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T,r_T$对应的概率为
$$\begin{array}{rl}p(\tau )& =p\left(s_0,a_0,s_1,a_1,\cdots \right)\\ & =p\left(s_0\right)\prod _{t=0}^{T-1}\pi \left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)\end{array}$$
Note: 根据条件概率的链式法则，有
$$p\left(X_1,X_2,\dots ,X_n\right)=p\left(X_1\right)p\left(X_2\mid X_1\right)p\left(X_3\mid X_1,X_2\right)\cdots p\left(X_n\mid X_1,X_2,\dots ,X_{n-1}\right)$$
将$p(\tau )$按照链式法则分解，能够得到
$$p\left(s_0,a_0,s_1,a_1,\dots ,s_T\right)=p\left(s_0\right)p\left(a_0\mid s_0\right)p\left(s_1\mid s_0,a_0\right)p\left(a_1\mid s_0,a_0,s_1\right)p\left(s_2\mid s_0,a_0,s_1,a_1\right)\dots p\left(s_T\mid s_0,a_0,\dots ,s_{T-1},a_{T-1}\right)$$
再根据：
环境的状态转移概率 满足马尔可夫性质：
$$p\left(s_{t+1}\mid s_0,a_0,s_1,a_1,\dots ,s_t,a_t\right)=p\left(s_{t+1}\mid s_t,a_t\right)$$
策略的决策概率 只依赖当前状态：
$$p\left(a_t\mid s_0,a_0,s_1,a_1,\dots ,s_t\right)=p\left(a_t\mid s_t\right)=\pi \left(a_t\mid s_t\right)$$
进而简化链式法则分解的表达式：
$$p\left(s_0,a_0,s_1,a_1,\dots ,s_T\right)=p\left(s_0\right)\prod _{t=0}^{T-1}p\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$$

3.强化学习的目标函数

3.1.总回报

给定策略 $\pi (a\mid s)$ ，智能体和环境一次交互过程的轨迹 $\tau$ 所收到的累积奖励为总回报。（基于环境$s_t$，智能体做出动作$a_t$，环境相应变为$s_{t+1}$，并给出相应的 reward $r_{t+1}$）
$$G(\tau )=\sum _{t=0}^{T-1}{r}_{t+1}=\sum _{t=0}^{T-1}r\left(s_t,a_t,s_{t+1}\right)$$
假设环境中有一个或多个特殊的终止状态，当到达终止状态时，一个智能体和环境的交互过程就结束了。这一轮交互的过程称为一个回合 或试验。一般的强化学习任务（比如下棋，游戏）都属于这种回合式任务。如果环境中没有终止状态（比如终身学习的机器人），即 $T=\infty$ ，称为持续式任务，其总回报也可能是无穷大。为了解决这个问题，我们可以引入一个折扣率来降低远期回报的权重。折扣回报定义为
$$G(\tau )=\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}$$

3.2.目标函数

$$\mathcal{J}(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[G(\tau )]={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}\right]$$
强化学习目标是学习一个策略${\pi }_{\theta }(a\mid s)$以最大化期望回报，其中$\theta$为策略函数的参数。$p_{\theta }(\tau )$为基于策略${\pi }_{\theta }(a\mid s)$得到轨迹$\tau$的概率。

4.强化学习中的值函数

为了评估策略 $\pi$ 的期望回报，进一步定义两个值函数：状态值函数和状态－动作值函数。

4.1.状态值函数

如前所述，强化学习的目标是最大化策略 $\pi$ 的 期望回报，策略 $\pi$ 的期望回报可以分解为

$$\begin{array}{rl}{\mathbb{E}}_{\tau \sim p(\tau )}[G(\tau )]& ={\mathbb{E}}_{s\sim p\left(s_0\right)}\left[{\mathbb{E}}_{\tau \sim p(\tau )}\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}\mid {\tau }_{s_0}=s\right]\right]\\ & ={\mathbb{E}}_{s\sim p\left(s_0\right)}\left[V^{\pi }(s)\right]\end{array}$$
其中 $V^{\pi }(s)$ 称为状态值函数（State Value Function），表示从状态 $s$ 开始，执行策略 $\pi$ 得到的期望总回报
$$V^{\pi }(s)={\mathbb{E}}_{\tau \sim p(\tau )}\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}\mid {\tau }_{s_0}=s\right]$$
其中 ${\tau }_{s_0}$ 表示轨迹 $\tau$ 的起始状态。
Note：利用轨迹的初始状态 $s_0$ 进行分解：${\mathbb{E}}_{\tau \sim p(\tau )}[G(\tau )]={\sum }_{s_0}p\left(s_0\right){\mathbb{E}}_{\tau \sim p(\tau )}\left[G(\tau )\mid s_0\right]$，这里 $p\left(s_0\right)$ 是初始状态的分布。状态值函数 $V^{\pi }(s)$ 即衡量了智能体从某个状态 $s$ 出发，遵循策略 $\pi$ 所能期望获得的长期收益。

贝尔曼方程（值函数的递归定义）：令用 ${\tau }_{0:T}$ 来表示轨迹 $s_0,a_0,s_1,\cdots ,s_T$ ，用 ${\tau }_{1:T}$ 来表示轨迹 $s_1,a_1,\cdots ,s_T$ ，因此有 ${\tau }_{0:T}=s_0,a_0,{\tau }_{1:T}$ 。基于马尔科夫性质，对状态值函数 $V^{\pi }(s)$展开得到：
$$\begin{array}{rl}& V^{\pi }(s)\stackrel{(a)}{=}{\mathbb{E}}_{{\tau }_{0:T}\sim p(\tau )}\left[r_1+\gamma \sum _{t=1}^{T-1}{\gamma }^{t-1}{r}_{t+1}\mid {\tau }_{s_0}=s\right]\\ & \stackrel{(b)}{=}{\mathbb{E}}_{a\sim \pi (a\mid s)}{\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}{\mathbb{E}}_{{\tau }_{1:T}\sim p(\tau )}\left[r\left(s,a,s^{\prime }\right)+\gamma \sum _{t=1}^{T-1}{\gamma }^{t-1}{r}_{t+1}\mid {\tau }_{s_1}=s^{\prime }\right]\\ & \stackrel{(c)}{=}{\mathbb{E}}_{a\sim \pi (a\mid s)}{\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma {\mathbb{E}}_{{\tau }_{1:T}\sim p(\tau )}\left[\sum _{t=1}^{T-1}{\gamma }^{t-1}{r}_{t+1}\mid {\tau }_{s_1}=s^{\prime }\right]\right]\\ & \stackrel{(d)}{=}{\mathbb{E}}_{a\sim \pi (a\mid s)}{\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma V^{\pi }\left(s^{\prime }\right)\right]\end{array}$$
其中，
（a）等价于将回报拆成第一步奖励 $r_1$ 和后续奖励；
（b）使用条件期望分解未来轨迹，根据马尔科夫链性质，未来状态仅依赖于当前状态和当前动作，而不依赖过去的历史轨迹。具体而言，

• 首先在状态 $s$ 选择动作 $a$ ，其概率由策略 $\pi (a\mid s)$ 决定。
• 然后环境转移到新的状态 $s^{\prime }$ ，其概率由环境动力学（状态转移概率）$p\left(s^{\prime }\mid s,a\right)$ 确定。
• 最后计算从状态 $s^{\prime }$ 开始的未来期望回报。

（c）根据$\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$，表明先计算即时奖励 $r\left(s,a,s^{\prime }\right)$，未来回报的期望则单独计算（再乘以一个$\gamma$）；
（d）观察可知${\mathbb{E}}_{{\tau }_{1:T}\sim p(\tau )}\left[{\sum }_{t=1}^{T-1}{\gamma }^{t-1}{r}_{t+1}\mid {\tau }_{s_1}=s^{\prime }\right]$即为$V^{\pi }\left(s^{\prime }\right)$
Note：贝尔曼方程表明当前状态的值函数可以通过下一状态的值函数递归地计算。如果我们希望找到最优策略 ${\pi }^{\ast }$ ，则其最优值函数 $V^{\ast }(s)$ 满足 贝尔曼最优方程：
$$V^{\ast }(s)=\underset{a}{\max }{\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma V^{\ast }\left(s^{\prime }\right)\right]$$

4.2.状态-动作 值函数

观察上述关于$V^{\pi }(s)$的贝尔曼方程：
$$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi (a\mid s)}{\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma V^{\pi }\left(s^{\prime }\right)\right]$$
其中红色部分表明指初始状态为 $s$ 并进行动作 $a$ ，然后执行策略 $\pi$ 得到的期望总回报，称为状态－动作值函数（State－Action Value Function），也被称为Q 函数（Q－Function）：
$$Q^{\pi }(s,a)={\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma V^{\pi }\left(s^{\prime }\right)\right]$$
状态值函数 $V^{\pi }(s)$ 是 Q 函数 $Q^{\pi }(s,a)$ 关于动作 $a$ 的期望，
$$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi (a\mid s)}\left[Q^{\pi }(s,a)\right]$$
进一步地，因为$V^{\pi }(s^{\prime })={\mathbb{E}}_{a^{\prime }\sim \pi (a^{\prime }\mid s^{\prime })}\left[Q^{\pi }(s^{\prime },a^{\prime })\right]$，Q 函数可以写为
$$Q^{\pi }(s,a)={\mathbb{E}}_{s^{\prime }\sim p\left(s^{\prime }\mid s,a\right)}\left[r\left(s,a,s^{\prime }\right)+\gamma {\mathbb{E}}_{a^{\prime }\sim \pi \left(a^{\prime }\mid s^{\prime }\right)}\left[Q^{\pi }\left(s^{\prime },a^{\prime }\right)\right]\right],$$
上式为关于 Q 函数的贝尔曼方程。
Note：
因为根据前文，状态值函数的定义为：$V^{\pi }(s)={\mathbb{E}}_{\tau \sim p(\tau )}\left[{\sum }_{t=0}^{T-1}{\gamma }^t{r}_{t+1}\mid {\tau }_{s_0}=s\right]$，表示从状态 $s$ 出发，遵循策略 $\pi$ ，在未来所期望获得的 折扣累计回报。而Q函数则是：从状态 $s$ 执行动作 $a$ 后，接下来遵循策略 $\pi$ 时，未来期望的折扣累计回报，即$Q^{\pi }(s,a)={\mathbb{E}}_{\tau \sim p(\tau )}\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_{t+1}\mid {\tau }_{s_0}=s,a_0=a\right]$。故:
$$\begin{gathered} \text{ 状态值函数 }{V}^{\pi }(s)\text{ 是 }Q\text{ 函数 }{Q}^{\pi }(s,a)\text{ 关于动作 }a\text{ 的期望 } \\ {V}^{\pi }(s)={\mathbb{E}}_{a\sim \pi (a\mid s)}\left[Q^{\pi }(s,a)\right] \\ {V}^{\pi }(s)\text{ 代表所有可能的动作 }a\text{ 的 加权期望回报，其中权重由策略 }\pi (a\mid s)\text{ 确定 } \end{gathered}$$
值函数可以看作是对策略 $\pi$ 的评估，故可以根据值函数来优化策略。假设在状态 $s$ ，有一个动作 $a^{\ast }$ 使得 $Q^{\pi }\left(s,a^{\ast }\right)>V^{\pi }(s)$ ，说明执行动作 $a^{\ast }$ 的回报比当前的策略 $\pi (a\mid s)$ 要高，便可调整参数使得策略中动作 $a^{\ast }$ 的概率 $p\left(a^{\ast }\mid s\right)$ 增加。