diffusion 和 gan 的优缺点对比
trainGAN 训练的网络是生成器和判别器，生成器用于生成图像，判别器辅助生成器的训练。Diffusion 训练的噪声评估网络。sampleGAN 推理快，GAN的生成网络有维度变化。Diffusion 推理慢，需要迭代更多次，推理过程图像尺寸不变。训练难度GAN 的训练可能是不稳定的，容易出现模式崩溃和训练振荡等问题。Diffusion 训练loss收敛性好，比较平稳。模拟分布连续性Diffu
·
- train
- GAN 训练的网络是生成器和判别器，生成器用于生成图像，判别器辅助生成器的训练。
- Diffusion 训练的噪声评估网络。
- sample
- GAN 推理快，GAN的生成网络有维度变化。
- Diffusion 推理慢，需要迭代更多次，推理过程图像尺寸不变。
- 训练难度
- GAN 的训练可能是不稳定的，容易出现模式崩溃和训练振荡等问题。
- Diffusion 训练loss收敛性好，比较平稳。
- 模拟分布连续性
- Diffusion相较于GAN可以模拟更加复杂，更加非线性的分布。但是Diffusion模拟的分布没有GAN连续性好，特别是在video风格迁移的时候，可能帧之间的关系会有很大差别。Diffusion就可以建模更加general，复杂的图像，大模型正需要像Diffusion这样的能力。所以SD等cv大模型才会依靠Diffusion越来越强大。
- GAN可以在某种单个类别的生成上做到很好的效果，比如人脸。GAN很难在多种不同类别的图像组成的数据集上学到这样复杂的分布。
- 模型可控性
- 以StyleGAN为代表的GAN，生成器的输入latent space包括noise和latent code(w)。w的存在使得GAN的可控性更加直接，通过控制低维数据就可以控制高维数据的生成（但这种控制更加抽象），比如连续性插值操作和DragGAN等。
- 以SD为代表的Diffusion输入有noise latent space和text embedding space。text embedding的可控性没有w来的直接。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
10
0- 0
已为社区贡献7条内容
所有评论(0)