[HSI论文阅读] | SSRN：Spectral-Spatial residual network for HSI classification

写在前面论文：Z. Zhong, J. Li, Z. Luo and M. Chapman, “Spectral–Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework,” in IEEE Transactions on Geoscience and Remote

要努力的小精灵

5672人浏览 · 2021-04-16 20:10:57

要努力的小精灵 · 2021-04-16 20:10:57 发布

写在前面

论文：

Z. Zhong, J. Li, Z. Luo and M. Chapman, “Spectral–Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework,” in IEEE Transactions on Geoscience and Remote Sensing, vol. 56, no. 2, pp. 847-858, Feb. 2018, doi: 10.1109/TGRS.2017.2755542.

代码：

https://github.com/zilongzhong/SSRN

本文整理的论文SSRN(光谱-空间残差网络)发表于2018年2月份，是基于CNN的HSI分类中一篇比较经典的论文。

⭐️ 出发点：在当时前人提出的基于三维卷积分类模型的基础上，引入了残差网络的skip connection的思想 $⇒\Rightarrow$ 好处则是可以使用更深层的神经网络，提升分类性能。

⭐️ 思路：针对输入的三维立方体高光谱数据邻域块，设计单独的光谱残差块和空间残差以提取丰富的光谱和空间特征；而且网络组织顺序为：首层卷积 $→\rightarrow$ 光谱残差块 $→\rightarrow$ 空间残差块 $→\rightarrow$ 线性层，这种结构被SSRN后续很多论文参考借鉴。

⭐️ 论文写作：使用图片、文字和公式很清晰地描述了三维卷积、BatchNormalization、Residual Connection的计算过程，整体网络结构介绍得也很清晰，这一点我非常喜欢。

⭐️ 实验组织：由于作者设计了两种残差块，在实验的过程中，分别验证了这两种残差的作用(去掉任何一个，网络性能都会下降)

1 Introduction

这部分主要是介绍前人的工作：基于特征工程的分类模型和基于深度学习的分类模型。

通过这部分，可以看出作者的研究思路：当时已经有基于三维卷积神经网络的HSI分类模型，残差网络的设计思想也得到了大家的认可，所以结合二者提出SSRN。

2 数据划分

这部分内容比较容易理解，数据划分就是将整个数据集划分为：训练集、验证集和测试集，分别用于更新模型的参数、验证中间模型的分类准确率和度量模型的泛化能力。

3 SSRN结构细节

3.1 整体网络基于三维卷积运算，同时在每层三维卷积后设置了BN层：

HSI是三维数据，记三个维度为：宽度、高度、深度；那么三维卷积与二维卷积相比，增加了一个维度，意味着卷积核不仅要在输入特征图的宽度和高度方向移动计算卷积值，还要在深度方向移动。

3.2 光谱残差块–>提取光谱特征：

设计细节：

每层的基本运算：3.1节中介绍的三维卷积 $→\rightarrow$ Batch Normalization；
卷积核： $1 * 1 * m$ $→\rightarrow$ 宽度和高度方向卷积核尺寸为1，光谱维度方向卷积核尺寸为m；好处是既可以提取光谱特征，也可以避免三维卷积参数的急剧增长；
残差连接：在每两个三维卷积层之间使用残差连接；
padding：卷积计算时，设置padding，确保输出的特征图尺寸相同，方便残差连接时对应的值相加；

3.3 空间残差块–>提取空间特征：

设计细节：

卷积核： $a * a * d$ $→\rightarrow$ 卷积核光谱维度尺寸d与空间残差块输入特征图的光谱维度尺寸d相同；
这里的图有一点小问题： $\times w \times d$ 的输入与 $n$ 个 $\times a \times d$ 的卷积核进行卷积运算(加padding)，得到的输出特征图应该是 $\times w \times n$ 。但影响不大，因为具体在实现时，作者设置了 $d = n$ ；

3.4 整体结构
以IndiaPines数据集为例，展示了整体的网络结构：

设计细节：

在光谱特征学习部分：最后一层卷积卷积核的光谱维度大小等于输入特征图光谱维度大小；在图中，最后一层卷积输入为 $\times 7 \times 97$ ，卷积核尺寸为 $\times 1 \times 97$ ；
图中的一个小问题：

4 实验设计

4.1 参数设置

除了基本的超参数设置外，作者还考虑到了影响模型容量的卷积核数量，即残差块中每层卷积的卷积核个数(kernel_number)。
数据预处理：在送入网络之前，进行了减去均值除以方差的预处理。

4.2 对比实验

一方面是与其他已有分类模型进行对比，对比OA、AA和Kappa这三个定量指标；
另一方面考虑不同的输入大小、不同的训练样本数量、不同残差块的数量对结果的影响，以充分验证设计的模型具有良好的泛化能力；
此外对比训练和测试时间，基于残差连接的网络确实需要比较长的训练时间。

5 小结

这篇论文其实看得很早，是我入门HSI时学习的论文，当时由于相关的英文单词都看不懂，忽略了很多细节：比如数据的预处理(减去均值除以方差)、比如光谱学习块和空间学习块连接处的卷积和尺寸设计；在经历了自己设计网络和调参后，发现细节真的很重要！
要敢于质疑：以前看到感觉有点不对的地方，总是怀疑是不是自己想错了；有时候论文不可能完美地毫无瑕疵，出现一些小问题也很正常，自己要敢于质疑！保持好奇~

小插曲：分享此刻听到的音乐~

回首望路遥遥多少脚印深深 ~
抬头看路漫漫理想依然在召唤 ~

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

医疗AI与融合数据库的整合：挑战、架构与未来展望（下）

AI云服务公司Hyperbolic联合创始人兼首席技术官Yuchen Jin在社交媒体上透露，他在OpenAI的朋友现在非常兴奋，因为OpenAI首席执行官山姆·奥尔特曼刚宣布每位员工都能在两年内获得150万美元的奖金。据周五凌晨的最新报道，有知情人士透露，OpenAI正在向其技术研究和工程团队的约1000名员工发放奖金，大约占总人数三分之一左右，金额从小几十万美元至数百万美元不等。

2048 AI社区

国内外最新AI语言模型行情分析2025年9月最新内容

人工智能语言模型市场在2025年经历了前所未有的创新浪潮和激烈竞争。本文基于2025年9月最新数据，全面分析国内外AI语言模型的发展现状、市场趋势和未来展望。全球AI语言模型市场规模已从2024年的56-86亿美元快速增长，预计到2030年将达到250-361亿美元，年复合增长率超过35%。市场格局正在发生根本性变化，中国国产大模型在技术能力和成本效益方面已达到国际先进水平。