作者：Boyun Li, Xiao Liu, Peng Hu, Zhongqin Wu, Jiancheng Lv, Xi Peng

机构：College of Computer Science, Sichuan University. TAL Education, China.

来源期刊：Computer Vision and Pattern Recognition (CVPR)

发表时间：2020年

一、研究动机

1.传统图像恢复方法通常针对单一退化类型（如去噪、去雨、去雾）设计，无法适应现实中复杂、多变、未知的退化情况。为了解决这一现象，本文提出一种无需预知退化类型与程度的图像恢复方法，同时在不同任务（去噪/去雨/去雾）上保持比较强的竞争力。

2.过去方法  

        单一退化IRSD：针对单一退化任务训练专用模型，如 DnCNN（去噪）、DehazeNet（去雾），当退化类型/强度变化时性能显著下降。

        IRMD：多退化处理方法，但通常需要预知退化类型，并使用多分支结构，如 DL 方法。

3.本文方法

• 提出两阶段、单通道的一体化网络 AirNet：

  • CBDE：基于对比学习的退化编码器，提取退化表示。

  • DGRN：退化引导的恢复网络，利用退化表示进行图像重建。

4.优势以及创新点

        创新点一：无需退化先验，不依赖退化类型或程度的先验信息。

        创新点二：统一模型,单一模型处理多种退化，优于多模型或多分支方法。

        创新点三: 对比学习机制,CBDE 通过对比学习区分不同退化类型，提升退化表示的判别能力。

        创新点四：动态适应能力，DGRN 中使用 DCN 和 SFT 模块，动态调整感受野和特征分布。

二、算法主要思想

     

1. 整体流程

        输入退化图像 x → CBDE 提取退化表示 z → DGRN 结合x和z输出恢复图像 y′。

  AirNet网络的两个组成部分

        1.基于对比度的退化编译器（CBDE）

         主要用途就是学习对不同退化可分辨、对恢复有用的表征 z。使相同退化的样本表示接近，不同退化的样本表示远离。

对比损失函数：

  

        q：查询样本（来自当前图像）

        k+：正样本（同一图像的不同区域）

        k−：负样本（不同退化类型的图像）

        2.退化引导恢复网络(DGRN)

        主要包含5 个 DGG（Degradation-Guided Groups），每个 DGG 包含 5 个 DGB（Degradation-Guided Blocks），每个 DGB 包含 2 个 DGM（Degradation-Guided Module）。

• DGM 模块：

  • DCN（Deformable Convolution）：动态调整卷积核采样位置，适应不同退化的空间结构。

    

  • SFT（Spatial Feature Transform）：通过仿射变换调整特征分布：

    

三、实验结果

1.数据集

        Denoising：BSD400, BSD68, WED, Urban100（加高斯噪声 σ=15,25,50）

        Deraining：Rain100L（200训练/100测试）

        Dehazing：RESIDE（OTS训练，SOTS测试）

 2.评价指标

        PSNR（峰值信噪比）：衡量重建精度

        SSIM： 结构相似性指数，它比PSNR更符合人眼视觉系统，数值越接近1越好

 3.定量实验

单一退化任务：

• Denoising：在 BSD68 和 Urban100 上，AirNet 在多数噪声级别上 PSNR/SSIM 最优。

• Deraining：在 Rain100L 上，PSNR=34.90，SSIM=0.9660，显著优于基线。

• Dehazing：在 SOTS 上，PSNR=23.18，略优于 FDGAN。

多退化任务（All-in-One）：

• AirNet 在联合训练所有退化类型后，仍能保持最优或接近最优性能，显著优于其他方法。

四.定性试验

        图像可视化显示 AirNet 在1.去噪、2.去雨、3.去雾任务中恢复细节更清晰，边缘更自然。

五.消融实验

1. 第一行（训练所有三种退化）在去噪任务上表现最佳，表明去噪性能与训练类型数量的成负相关。

2. 第四行（训练噪声和雨）在去雨任务上表现最佳，显示训练噪声有助于提升模型去雨的性能。

3. 最后一行（训练噪声和雾霾以及雨）在去雾任务上表现最好，表明去雾性能与训练类型数量的成正相关。       

 六、结论

              1.  AirNet 是首个无需退化先验、统一处理多种退化的图像恢复方法。 通过 CBDE 和 DGRN 的协同设计，实现了对未知退化的自适应恢复。

              2. 在多个数据集和任务中，AirNet 在定量和定性评估中均优于 17 个基线方法。

              3.具备在实际复杂场景中应用的潜力，如自动驾驶、监控等。

七、不足和影响

              1.暂时没有涉及对于去模糊、去雪的实验，对于这方面的性能还尚不明确。