目录

前言

课题背景和意义

实现技术思路

一、本文工作

二、实 验

三、总结

实现效果图样例

最后

---

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯毕业设计-基于无监督深度学习的真实图像超分辨率重建

课题背景和意义

单图像超分辨率重建利用算法将单张低分辨率图 像重建到高分辨率图像，是图像复原的热点研究问题之 一，在国防、智能交通和医学等领域具有广泛的应用。 现有的超分辨率重建模型大多基于有监督学习，将低分 辨率图像映射到高分辨率图像上以学习模拟图像退化 的逆过程。因此，基于配对图像训练的超分辨率重建模 型过于依赖训练数据，在实际超分辨率任务中往往表现 欠佳 。为了提高超分辨率模型的泛化性，越来越多的 学者研究使用不成对的低⁃高分辨率图像进行无监督图 像超分辨率重建 。针对实际图像超分辨率重建任务中，有监督学习方法训练的模型依赖训练数据集导致泛化性不佳的问题，提 出了一种使用无监督方法训练的真实图像超分辨率重建模型。首先，基于非配对的真实图像，构建了真实图像退化生成对 抗式网络，将输入的真实高分辨率图像生成具有逼真细节的退化图像；其次，使用多头注意力机制构建了残差卷积图像超分 辨率重建网络，通过建立长距离相关性学习，提升了真实图像超分辨率重建效果。

实现技术思路

一、本文工作

为提升图像超分辨率算法在实际场景中的泛化性， 本文提出了基于无监督深度学习的真实图像超分辨率 重建方法，该方法主要由真实图像退化模型和真实图像 超分辨率重建模型两部分组成，如图所示。

 首先，真实图像退化模型学习图像退化过程，将真 实高分辨率图像生成逼真的低分辨率图像，再引入真实 低分辨率图像特征增强网络重建图像真实结构和纹理 的能力。其次，无监督真实图像超分辨率重建模型基于残差 卷积神经网络构建，引入多头注意力机制对图像特征建 立长距离相关性联系，增强模型对全局特征的学习；使 用亚像素卷积层重建有真实图像细节的高质量图像；在 特征提取过程中使用层正则化（Layer Normalization， LN）、激活函数 GELU 和 Leaky ReLU 加速网络收敛。

图像退化网络

早期的非盲单图像超分辨率方法退化模型直接使 用双三次下采样生成配对图像，考虑到现实中图像退化 的复杂性，研究者们将图像模糊和噪声添加进退化模型 中，提出了图像退化的一般模型：

真实退化图像生成器生成退化图像流程如图所示。

 其中处理真实高分辨率图像时使用的模糊核包括 同 向 高 斯 模 糊 和 各 向 异 性 高 斯 模 糊 ；下 采 样 使 用 Nearest、Bilinear 和 Bicubic 下采样，记为 D2 ；噪声主要使 用高斯噪声、JPEG 压缩噪声和相机噪声，记为 B。

图像超分辨率重建网络

本文提出的无监督真实图像超分辨率重建网络 （Unsupervised Self⁃Attention Based Image Super⁃Resolu⁃ tion Network，UASRN）结构如图3所示，主要由自卷积层、 自注意力层、多层感知机和残差连接组成。

 首先，输入图像为 ILR ∈ RH × W ×（C H 为输入 LR 图像的 高度，W 是输入 LR 图像的宽度，C 为输入 LR 图像的通 道数，彩色图像的通道数为 3）。将输入的低分辨率图像 传入3 × 3的卷积层以提取图像浅层特征FSF，表示如下：

 通过基于注意力机制设计的深层特征提取模 块，提取图像的深层特征 FDF。其中，深层特征提取模块 （Deep Feature Extraction Blocks，DFEB）包含 6 个注意力 特 征 提 取 模 块（Self ⁃ attention based Feature Extraction Blocks，AFEB）和一个 3 × 3 的卷积层，对于注意力特征 提取模块 AFEB 有：

 式中：HAFEBi j 表示第 i 个深层特征提取模块中第 j 个注意 力特征提取模块；当 j = 1 时，FAFEBi j - 1 = FDFi - 1。图像浅层 特征 FSF 经过 6个注意力模块 AFEB 后传入卷积层，得到 深层图像特征 FDF。 令FDFEB0 = FSF，则对于每一个深层特征提取模块有：

 最后一个深层特征提取模块的输出 FDFEB4经过卷积 层得到深层图像特征 FDF：

 重建模块 Hupsample 结合浅层图像特征和深层图像特征重建出高质量图像 ISR：

 其中：图像浅层特征 FSF包含图像低频信息；图像深 层特征 FDF用于重建丢失的图像高频信息。

注意力特征提取模块

不同于逐像素处理图像的标准卷积方法，本文提出 的模型将图像视为一系列由多个像素组成的小部分图 像块 ，在图像特征提取中使用多头自注意力机制，基 于图像块之间的关系来处理图像集合，捕获到图像块之 间的依赖关系进而构建图像的全局表示 。注意力特 征提取模块 AFEB 主要由多头注意力层、多层感知机和 层正则化 LN 层组成，具体结构如图所示。

 多层感知机（Multi⁃layer Perceptron，MLP）是人工神 经网络的基本模块，本文使用的多层感知机含有两个隐 藏层和一个高斯误差线性单元（Gaussian Error Linear Unit，GELU）。GELU 是非线性激活函数，对其输入进行 随机正则化，换句话说，为输入匹配一个 0 或 1 的随机 值。与 ReLU 不同，GELU 按照输入的等级对输入进行 加权，其表达式为：

 为帮助网络快速收敛，主流的残差网络模型使用批量正则化（Batch Normalization，BN）来防止梯度弥散。 但在超分辨率重建任务中，BN 会破坏图像原有的对比 度信息，影响重建图像质量[17] ，尤其当测试数据和训练 数据存在差异很大时，BN 有可能会引入伪影，从而限制 网络的泛化能力。

注意力特征提取模块的核心结构为多头注意力 （Multi⁃headed Self⁃attention，MSA）层，其结构如图所示。

 MSA 层首先将输入特征的 Query，Key 和 Value 经过 线性映射得到矩阵 Q、矩阵 K和矩阵 V：

损失函数

在超分辨率任务中，相同的 LR 图像块可能对应多 个 HR 图像，因此属于不适定问题 。而大部分卷积超 分辨率模型使用的 L2 范数并不能捕捉到 HR 图像块的 多模态分布，所以重建出的图像纹理过于平滑，不符合 人眼感知到的真实图像特征。 

为适应真实世界图像 超分任务，使用抗噪性更强的 Charbonnier Loss 作 为损失函数，研究证明在处理图像边缘细节上表现 更好 。

Charbonnier Loss数学表达式如式所示：

二、实 验

实验的硬件环境为：Intel Ⓡ CoreTM i7⁃10750H， CPU 内存 12 GB，显卡为 NVIDIA RTX 3080Super；软件 环境为 Ubuntu 20.04；深度学习框架为 PyTorch 1.5.0；编 程语言为 Python 3.7。

数据集介绍

使用经典的超分辨率数据集 DIV2K和 NTIRE 2020 Real ⁃World Image Super ⁃ resolution 赛道数 据集作为训练数据集，使用 Set5 、RealSRSet和安防监控图像作为测试集 。本文使用的数据集图像如图所示。

测试数据集图像示例：

实验参数设置

在真实图像退化模型中，真实退化图像生成器网络 与判别器网络均使用 Adam 优化算法进行优化，初始学 习率为 0.000 05，每 100 个 epoch 学习率衰减为原来的 0.5 倍；真实图像超分辨率重建网络同样使用 Adam 算 法，初始学习率为 0.000 2，每训练 50 个 epoch 保存一次模型且学习率减半，Batch Size 为 32，放大因子为×4，使用 data shuffle进行数据扩增。

本文使用以下超分辨率重建模型对比展示在同一 图像上的重建结果图像：

1）双三次插值法（Bicubic Interpolation）；

2）文献提出的单图像超分辨率卷积神经网络 SRCNN；

3）文献提出的端到端的深度展开超分辨率网 络 USRNet；

4）AIM 2019 受限超分辨率赛道的基础对照超分 辨率模型 MSRResNet；

5）迭代核估计盲超分辨率网络 IKC ；

 6）本文方法 UASRN。

实验结果分析

由于在安防监控视频图像重建等实际超分辨率任 务中，所需要的图像内容只占画幅中很小的一部分，所 以本文首先使用测试集 Set5 中 4 倍下采样低分辨率图 像作为待重建图像，重建效果评价指标包括峰值信噪比 （PSNR）、结 构 相 似 度（SSIM）和 自 然 图 像 评 估 指 标 （NIQE），对模型性能进行评估。

其中，计算 PSNR 时 首先将 RGB 转化为 YCbCr，然后只计算 Y（亮度）分量的 PSNR；NIQE 的计算在空域中进行。 图展示了不同方法针对 Set5 数据集中 Butterfly 图 像重建结果对比

图中展示的是 RealSRSet 数据集中老照片图像 “Oldphoto6”经 过 不 同 方 法 重 建 的 结 果 对 比 ，可 以 看 出：图 a）、图 b）对退化后的含噪图像重建效果不佳； 图c）、图 e）重建结果图像中人脸皮肤过于平滑，帽子 褶皱、头发和衣领部分纹理细节丢失；图 d）重建图像 仍有明显噪声，面部细节模糊；本文方法重建的老照片 图像在还原帽子褶皱、发丝和衣领纹理细节的同时，消 除了噪声，图中人物面部细节更丰富，重建效果更符合 人类视觉感受。

 表对比了不同方法重建 RealSRSet 数据集中老照 片图像“Oldphoto6”的结果评价，可以看出本文方法在 PSNR 和 NIQE 指标上明显超越其他方法。

图展示了本文方法在安防监控图像上重建的效 果。通过对比可以看出：本文方法在消除监控图像常见 的伪影和噪声等方面有明显的提升效果，对图像中行 人、衣物、图案细节恢复情况较好，图像色彩没有偏差， 视觉效果逼真；图像内容细节丰富、边缘清晰。

 表展示了不同方法在 Set5、RealSRSet与安防监控 图像上进行重建的效果对比

三、总结

基于无监督方法的真实图像超分 辨率重建方法。在经典超分辨率测试集和真实世界图 像数据集上进行的实验结果表明，本文方法在生成逼真 的真实图像纹理特征方面提升显著，生成的图像符合人 类视觉感受。下一步，将利用自注意力机制带来的强大 建模能力扩增模型，探索深度神经网络在超分辨率重建 领域的潜力。

实现效果图样例

真实图像超分辨率重建：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后