你别不信！我们真的找到了深度学习最好出创新点的方法：模块缝合！

也即，把各种“即插即用的模块”，像电路一样，通过串行、并行、多尺度融合等方式进行排列组合，形成新的模块，实现快速涨点！

为方便大家研究的进行，我们花了几个月的时间，给大家详细梳理了150多个目前最新的＆经典必备的即插即用模块和源码。主要涵盖：注意力机制、快速傅里叶卷积、Mamba、卷积、特征融合、多尺度融合、下采样……尤其特别的是，还给大家根据任务（像是时间序列、图像分割、多模态等等），进行了分类，让大家可以快速适配自己的方向。

扫描下方二维码，回复「即插模块」免费获取全部论文合集及项目代码即插即用attention

Agent Attention: On the Integration of Softmax  and Linear Attention

内容：本文提出了一种新的注意力范式——Agent Attention，旨在平衡计算效率和表示能力。Agent Attention通过引入一组额外的代理令牌，在传统注意力模块的基础上形成一个四元组。代理令牌首先作为查询令牌Q的代理，从K和V中聚合信息，然后将信息广播回Q。由于代理令牌的数量可以远小于查询令牌的数量，Agent Attention在保持全局上下文建模能力的同时，显著提高了计算效率。实验表明，Agent Attention在多种视觉任务（包括图像分类、目标检测、语义分割和图像生成）中均表现出色，尤其在高分辨率场景下效果显著。此外，将其应用于Stable Diffusion模型时，无需额外训练即可加速图像生成并提升生成质量。

卷积模块

Adaptive Rectangular Convolution for Remote Sensing Pansharpening

内容：本文提出了一种新的自适应矩形卷积模块，用于遥感影像融合中的全色锐化任务。ARConv能够根据图像中不同物体的大小动态调整卷积核的高度和宽度，并根据学习到的尺度动态调整采样点的数量。通过这种方式，ARConv可以有效地捕捉不同尺度物体的特征，优化卷积核的大小和采样位置。基于ARConv构建的网络架构ARNet在多个数据集上表现出色，优于现有的多种全色锐化方法。此外，通过可视化分析，验证了ARConv能够根据物体大小自适应调整卷积核形状的有效性。

特征融合模块

ConDSeg: A General Medical Image Segmentation Framework via  Contrast-Driven Feature Enhancement

内容：本文提出了一种名为ConDSeg的通用医学图像分割框架，旨在解决医学图像中常见的模糊边界和共现现象带来的挑战。该框架通过对比驱动的特征增强方法，提高模型在不同光照和对比度条件下的鲁棒性，并通过语义信息解耦模块和对比驱动特征聚合模块，精确区分前景和背景，减少不确定性。此外，引入的Size-Aware Decoder能够准确定位不同大小的实体，避免共现特征的错误学习。在五个医学图像数据集上的实验表明，ConDSeg在各种模态的任务中均取得了最先进的性能，证明了其先进性和通用性。

扫描下方二维码，回复「即插模块」免费获取全部论文合集及项目代码

Mamba模块

nnMamba: 3DBiomedical Image Segmentation,  Classification and Landmark Detection with State  Space Model

内容：本文介绍了一种名为nnMamba的新架构，用于3D生物医学图像分割、分类和地标检测。该架构结合了卷积神经网络（CNN）和状态空间序列模型（SSM）的优势，通过Mamba-InConvolution与Channel-Spatial Siamese学习（MICCSS）模块来建模体素的长程关系。在6个数据集上的广泛实验表明，nnMamba在3D图像分割、分类和地标检测等任务中均优于现有的最先进方法。nnMamba不仅具备CNN的局部表示能力，还具备SSM的高效全局上下文处理能力，为医学图像分析中的长程依赖建模设定了新的标准。

归一化模块

BCN: Batch Channel Normalization for Image Classification

内容：本文提出了一种新的归一化技术BCN，用于图像分类任务。BCN结合了批量归一化（BN）和层归一化（LN）的优势，分别沿（N, H, W）和（C, H, W）轴对输入进行归一化，然后基于自适应参数组合归一化后的输出。实验结果表明，BCN可以无缝应用于CNN或Vision Transformer架构的各种版本，显著提高了神经网络的泛化性能。

时序任务模块

MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time  Series Forecasting

内容：本文提出了一种名为MSGNet的深度学习模型，用于多变量时间序列预测。MSGNet通过频域分析和自适应图卷积捕捉不同时间尺度上的变化的序列间相关性。模型利用快速傅里叶变换（FFT）提取显著的周期模式，并将时间序列分解为不同的时间尺度。同时，引入自适应混合跳跃图卷积层自动学习每个时间尺度内的多样化的序列间相关性，并结合多头注意力机制捕捉序列内的依赖关系。在多个真实世界数据集上的广泛实验表明，MSGNet在时间序列预测任务中优于现有的深度学习模型，并展现出对分布外样本的强泛化能力。

扫描下方二维码，回复「即插模块」免费获取全部论文合集及项目代码