1. 引言

《Score-Based Generative Modeling through Stochastic Differential Equations》提出了一种随机微分方程（SDE），它通过逐步注入噪声，将复杂的数据分布平滑地转化为一个已知的先验分布；同时，该工作还提出了一个对应的反向时间 SDE，通过逐步去除噪声，将先验分布转化回数据分布。关键在于，反向时间 SDE 仅依赖于扰动数据分布的时间依赖梯度场（即分数，score）。利用神经网络可以准确估计这些分数，并使用数值 SDE 求解器生成样本。而DDPM（Denoising Diffusion Probabilistic Models）可以被视为该SDE框架的离散化版本。

---

2. 基于随机微分方程（SDE）的分数生成建模

2.1 随机微分方程（SDE）与数据扰动

$$\mathrm{d}x=f(x,t)\mathrm{d}t+g(t)\mathrm{d}w$$

其中，$f(x,t)$ 是漂移项，$g(t)$ 是扩散项，$\mathrm{d}w$ 是标准布朗运动。通过这个SDE，可以逐步将数据分布转化为一个简单的先验分布（如高斯分布）。

2.2 去噪分数匹配

为了估计分数（即梯度场），使用去噪分数匹配（Denoising Score Matching）方法：

$${\theta }^{\ast }=\arg \underset{\theta }{\min }{\mathbb{E}}_t\left\{\lambda (t){\mathbb{E}}_{\mathbf{x}(0)}{\mathbb{E}}_{\mathbf{x}(t)|\mathbf{x}(0)}\left[||{\mathbf{s}}_{\theta }(\mathbf{x}(t),t)-{\nabla }_{\mathbf{x}(t)}\log p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))|{|}_2^2\right]\right\}$$

在足够的数据和模型容量条件下，对于几乎所有的 $x$ 和 $t$，分数匹配的最优解为 $s_{\theta }(x,t)={\nabla }_x\log p_t(x)$。

2.3 逆向SDE

$$d\mathbf{x}=[\mathbf{f}(\mathbf{x},t)-g(t{)}^2{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})]dt+g(t)d\overline{\mathbf{w}}$$

其中，$\overline{\mathbf{w}}$ 是逆向时间的布朗运动。将分数匹配得到的 $s_{\theta }(x,t)$ 带入逆向SDE，利用数值求解器即可生成数据样本。

---

3. DDPM

3.1 前向过程

DDPM（Denoising Diffusion Probabilistic Models）可以被视为上述SDE框架的离散化版本。DDPM的前向过程可以表示为：

$${\mathbf{x}}_i=\sqrt{1-{\beta }_i}{\mathbf{x}}_{i-1}+\sqrt{{\beta }_i}{\mathbf{z}}_{i-1},i=1,\cdots ,N$$

定义 $\overline{{\beta }_i}=N{\beta }_i$，代入上式：

$${\mathbf{x}}_i=\sqrt{1-\frac{{\bar{\beta }}_i}{N}}{\mathbf{x}}_{i-1}+\sqrt{\frac{{\bar{\beta }}_i}{N}}{\mathbf{z}}_{i-1},i=1,\cdots ,N$$

当 $N\to \infty$ 时，{βˉi}i=1N\{\bar{\beta}_i\}_{i=1}^N{βˉ​i​}i=1N​ 趋于一个定义域在 $[0,1]$ 的函数 $\beta (t)$。令 $\beta (\frac{i}{N})=\overline{{\beta }_i}$，$\mathbf{x}(\frac{i}{N})={\mathbf{x}}_i$，$\mathbf{z}(\frac{i}{N})={\mathbf{z}}_i$，并令 $\Delta t=\frac{1}{N}$，将 $t$ 限制在 $[0,1]$，重写上式：

$$\begin{array}{rl}\mathbf{x}(t+\Delta t)& =\sqrt{1-\beta (t+\Delta t)\Delta t}\mathbf{x}(t)+\sqrt{\beta (t+\Delta t)\Delta t}\mathbf{z}(t)\\ & \approx \mathbf{x}(t)-\frac{1}{2}\beta (t+\Delta t)\Delta t\mathbf{x}(t)+\sqrt{\beta (t+\Delta t)\Delta t}\mathbf{z}(t)\\ & \approx \mathbf{x}(t)-\frac{1}{2}\beta (t)\Delta t\mathbf{x}(t)+\sqrt{\beta (t)\Delta t}\mathbf{z}(t),\end{array}$$

第二行利用了泰勒展开，当 $\Delta t\to 0$ 时，得到对应的前向SDE：

$$\mathrm{d}\mathbf{x}=-\frac{1}{2}\beta (t)\mathbf{x}\mathrm{d}t+\sqrt{\beta (t)}\mathrm{d}\mathbf{w}$$

3.2 去噪分数匹配

$${\theta }^{\ast }=\arg \underset{\theta }{\min }{\mathbb{E}}_t\left\{\lambda (t){\mathbb{E}}_{\mathbf{x}(0)}{\mathbb{E}}_{\mathbf{x}(t)|\mathbf{x}(0)}\left[||\frac{1}{\sqrt{1-\bar{\alpha }(t)}}{\mathbf{s}}_{\theta }(\mathbf{x}(t),t)+{\nabla }_{\mathbf{x}(t)}\log p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))|{|}_2^2\right]\right\}$$
得到近似于${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$的$s_{\theta }(\mathbf{x},t)$。由于漂移系数$f(\mathbf{x},t)=-\frac{1}{2}\beta (t)\mathbf{x}$关于$\mathbf{x}$是仿射的，所以$p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$是高斯分布，且均值和方差均有解析形式：
$$p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))=N(x(t);x(0)e^{-\frac{1}{2}{\int }_0^t\beta (s)ds},I-I{e}^{-{\int }_0^t\beta (s)ds})$$

3.3 离散化逆向SDE

$$d\mathbf{x}=[-\frac{1}{2}\beta (t)\mathbf{x}-\beta (t){\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})]dt+\sqrt{\beta (t)}d\overline{\mathbf{w}}$$

离散化时将时间区间 $N$ 等分，$\beta (\frac{i}{N})=\overline{{\beta }_i}=N{\beta }_i=\frac{{\beta }_i}{\Delta t}$，$dt$ 是无穷小的负时间步长。以下离散化时使用正步长 $\Delta t=\frac{1}{N}$：

$$\begin{array}{rl}{x}_{i-1}& =x_i+\left(-\frac{1}{2}\frac{{\beta }_i}{\Delta t}{x}_i-\frac{{\beta }_i}{\Delta t}{s}_{\theta }(x_i,\frac{i}{N})\right)(-\Delta t)+\sqrt{\frac{{\beta }_i}{\Delta t}}\sqrt{\Delta t}z\\ x_{i-1}& =x_i+\frac{1}{2}{\beta }_i{x}_i+{\beta }_i{s}_{\theta }(x_i,\frac{i}{N})+\sqrt{{\beta }_i}z\\ & =\left(1+\frac{1}{2}{\beta }_i\right)x_i+{\beta }_i{s}_{\theta }(x_i,\frac{i}{N})+\sqrt{{\beta }_i}z\end{array}$$

由泰勒展开 $\frac{1}{\sqrt{1-{\beta }_i}}\approx 1+\frac{1}{2}{\beta }_i$，得：

$$x_{i-1}=\frac{1}{\sqrt{1-{\beta }_i}}{x}_i+{\beta }_i{s}_{\theta }(x_i,\frac{i}{N})+\sqrt{{\beta }_i}z$$

由于 ${\beta }_i$ 的取值一般较小，上式近似于：

$$x_{i-1}=\frac{1}{\sqrt{1-{\beta }_i}}\left(x_i+{\beta }_i{s}_{\theta }(x_i,\frac{i}{N})\right)+\sqrt{{\beta }_i}z$$

为形式上直观，变量替换 $s_{\theta }(x_i,\frac{i}{N})={\bar{s}}_{\theta }(x_t,t)$，重写上式：

$$x_{t-1}=\frac{1}{\sqrt{1-{\beta }_t}}\left(x_t+{\beta }_t{\bar{s}}_{\theta }(x_t,t)\right)+\sqrt{{\beta }_t}z$$

3.4 DDPM采样

$$x_{t-1}=\frac{1}{\sqrt{1-{\beta }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)+{\sigma }_{t}z$$

可以看到，数据分布的分数相当于DDPM采样的噪声估计乘以一个系数：

$${\bar{s}}_{\theta }(x_t,t)=-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)$$

---

4. 参考来源

• https://arxiv.org/pdf/2011.13456
• https://www.youtube.com/watch?v=B4oHJpEJBAA

---