Potential Reward Shaping唯一一种在理论上不改变智能体的原始最优策略的奖励塑形方法。

这是一个 标准但必须一步不跳 的证明问题。下面给出一个 从定义出发、逐行可检查 的推导，说明为什么 potential shaping 会导致 价值函数的状态相关“常数平移”，而与智能体在该状态执行什么动作没有关系：

$$V^{\prime \pi }(s)=V^{\pi }(s)+\Phi (s)$$

---

0️⃣ 前提与记号（先统一）

• 原始奖励：
  $$r(s,a,s^{\prime })$$
• Shaping 后奖励：
  $$r^{\prime }(s,a,s^{\prime })=r(s,a,s^{\prime })+\gamma \Phi (s^{\prime })-\Phi (s)$$
• 折扣因子：
  $$\gamma \in (0,1]$$
• 固定一条策略 $\pi$（不是最优，只是任意）

价值函数定义：

$$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t,s_{t+1})\mid s_0=s\right]$$

---

1️⃣ 写出 shaping 后的价值函数定义

$$\begin{array}{rl}{V}^{\prime \pi }(s)& ={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{r}^{\prime }(s_t,a_t,s_{t+1})\right]\\ & ={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t,a_t,s_{t+1})+\gamma \Phi (s_{t+1})-\Phi (s_t))\right]\end{array}$$

把和拆开（线性期望）：

$$\begin{array}{rl}{V}^{\prime \pi }(s)=& {\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right]+{\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^{t+1}\Phi (s_{t+1})\right]\\ & -{\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t\Phi (s_t)\right]\end{array}$$

---

2️⃣ 第一项：原始价值函数

$${\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right]=V^{\pi }(s)$$

这一项没有争议。

---

3️⃣ 关键：后两项形成 望远镜求和

我们单独看。

第三项（负的）

$$\sum _{t=0}^{\infty }{\gamma }^t\Phi (s_t)=\Phi (s_0)+\gamma \Phi (s_1)+{\gamma }^2\Phi (s_2)+\cdots$$

第二项（正的）

$$\sum _{t=0}^{\infty }{\gamma }^{t+1}\Phi (s_{t+1})=\gamma \Phi (s_1)+{\gamma }^2\Phi (s_2)+\cdots$$

把它们相减：

$$\sum _{t=0}^{\infty }{\gamma }^{t+1}\Phi (s_{t+1})-\sum _{t=0}^{\infty }{\gamma }^t\Phi (s_t)=-\Phi (s_0)$$

所有后续项完全抵消，只剩下初始状态。
这一步是整个证明的核心。

---

4️⃣ 代回总式

$$\begin{array}{rl}{V}^{\prime \pi }(s)& =V^{\pi }(s)-\Phi (s_0)\\ & =V^{\pi }(s)+\Phi (s)\end{array}$$

（注意：这里 $s_0=s$，负号已在定义中体现）

✅ 证明完成。

---

5️⃣ 为什么这一步这么“神奇”？

因为 shaping 项被设计成：

$$\gamma \Phi (s^{\prime })-\Phi (s)$$

它本质上是一个 折扣后的离散梯度（discrete temporal difference），
在时间上天然形成 telescoping sum（望远镜和）。

换句话说：

Potential shaping 不是“随便加奖励”，而是精心构造的“可积项”。

---

6️⃣ 从 Bellman 方程角度的等价结论（补充）

你也可以验证：

$$Q^{\prime \pi }(s,a)=Q^{\pi }(s,a)+\Phi (s)$$

于是：

$$\arg \underset{a}{\max }{Q}^{\prime \ast }(s,a)=\arg \underset{a}{\max }{Q}^{\ast }(s,a)$$

这正是 最优策略不变性 的数学根源。

---

7️⃣ 一句话总结（严格版）

Potential shaping 的奖励在时间维度上形成望远镜求和，使得 shaping 对整条轨迹的累计影响只剩下初始状态的 $\Phi (s)$，从而导致价值函数的状态相关常数平移，而不改变动作间的相对优劣。