Stable Diffusion详解

一、Stable Diffusion 简介

Stable Diffusion（简称 SD）是由 Stability AI、CompVis 和 Runway 团队合作开发的一种潜在扩散模型。它于 2022 年 8 月正式开源，具有出图快、扩展性强、数据安全等特点。

二、Stable Diffusion 的核心概念

1. 扩散模型（Diffusion Model）

扩散模型是一种生成式模型，其核心思想是：

• 正向过程：对图像逐步添加高斯噪声，直到图像完全变为噪声。
• 反向过程：从噪声中逐步恢复出原始图像。

2. 潜在扩散模型（Latent Diffusion Model）

为了解决扩散模型在像素空间中计算量大的问题，潜在扩散模型先将图像压缩到潜空间，再进行扩散过程，大大减少了计算量和内存需求。

3. Stable Diffusion WebUI

提供了一个图形化界面，用户无需编写代码即可操作模型生成图像。

三、Stable Diffusion 的特点

1. 可拓展性强

• 开源模型与代码，支持自定义学习与创作。
• 集成超过 110 种插件，支持局部重绘、姿势控制、高清修复等功能。

2. 出图速度快

• 本地部署，依赖本地显卡算力，无需排队。
• 支持 3 秒/张 的高效出图。

3. 数据安全

• 所有图像生成过程在本地完成，避免数据上传到云端，保护用户隐私。

四、Stable Diffusion 的工作原理

1. 扩散过程

• 加噪：逐步向图像添加噪声，模拟“墨汁扩散”过程。
• 去噪：逐步从噪声中恢复图像，即逆向降噪。

2. 潜空间运算

Stable Diffusion 在潜空间中进行扩散过程，显著降低了计算复杂度。

3. 整体运行流程

4. Diffusion模型的原理

五、Stable Diffusion 的架构

Stable Diffusion 由三个核心组件构成：

1. CLIP Text Encoder

• 将文本提示词转换为 768 维向量。

• 使用对比学习训练，理解文本与图像的关系。

• ClipText ⽂本编码器：

  首先训练一个处理图像的 CNN 和一个处理文本的Transformer 模型，来预测图像的caption。

  对比学习阶段：给定一个 Batch 的 N 个 (图片，文本) 对，图片输入给 Image Encoder 得到表征 I1,I2,…,In，文本输入给 Text Encoder 得到表征 T1,T2,…,Tn，其中 (Ij,Tj)属于是正样本，(Ij,Tk)属于负样本。最大化 N 个正样本的Cosine 相似度，最小化N^2−N个负样本的 Cosine 相似度。

Zero-Shot Transfer:这个阶段是使用 CLIP 的预训练好的 Image Encoder 和 Text Encoder 来做Zero-Shot Transfer。比如来一张 ImageNet-1K 验证集的图片，可以使用CLIP 预训练好的模型能完成这个分类的任务。模型的参数是冻结的，在图像生成过程中参数是不会发生变化的。

2. U-Net + Scheduler（图像信息生成器）

U-Net 原本是用于生物医学图像分割的神经网络模型，因为工作结构像一个 U 型字母，因此被称为 U 型神经网络训练模型。在扩散模型中，U-Net 可以辅助提取并解构训练图像的特征，有了它就能在较少训练样本的情况下获得更加准确多样的数据信息，从而使模型在出图结果上更加精确。

• U-Net：提取图像特征，辅助去噪。
• Scheduler：控制去噪步骤与采样算法。Scheduler 就是用来定义使用哪种算法来运行程序，它可以定义降噪的步骤、是否具备随机性、查找去噪后样本的算法等，因此它又被称为采样算法。

3. VAE 解码器

全称是 Variational Auto Encoder 变分自动编码器。简单来说，它的作用就是将高维数据（像素空间）映射到低维空间（潜空间），从而实现数据的压缩和降维。它由编码器（Encoder）和解码器（Decoder）两部分组成，编码器用于将图像信息降维并传入潜空间中，解码器将潜在数据表示转换回原始图像，而在潜在扩散模型的推理生成过程中我们只需用到 VAE 的解码器部分。

六、Stable Diffusion 的文生图流程

1. 生成随机潜空间张量（受随机种子控制）
2. U-Net 结合文本提示预测噪声
3. 逐步去噪，重复多次（如 50 步）
4. VAE 解码器将潜图像转换为最终图像

七、Stable Diffusion 的应用场景

1. 文生图（Text-to-Image）

将文本描述转换为图像，增强视觉表达能力。

2. 图生图（Image-to-Image）

基于原图与提示词进行二次创作，控制生成结果。

3. 图像修复（Inpainting）

替换或填充图像中指定区域，实现自然修复。