1. ResNet（残差网络）

• 核心结构：残差块（Residual Block）

• 改进点：

  • 跳跃连接（Skip Connection）：输入直接绕过非线性变换（如卷积层）与输出相加，公式为 ( y = F(x) + x )。
  • 解决梯度消失：允许梯度直接回传，支持更深的网络训练。
  • 特征复用：通过跨层相加融合浅层和深层特征，但复用范围仅限于单个残差块内。

• 特点：

  • 每个块仅复用前一层特征，复用效率较低。
  • 参数效率中等，计算量适中。

2. DenseNet（密集连接网络）

• 核心结构：密集块（Dense Block）

• 改进点：

  • 密集连接：每一层的输入来自前面所有层的输出，公式为
    $$x_l=H_l([x_0,x_1,...,x_{l-1}])$$
    其中 ([·]) 表示通道拼接。
  • 特征复用最大化：所有层共享全局特征，增强信息流动。
  • 参数效率：通过通道拼接减少冗余参数（如过渡层压缩通道数）。

• 特点：

  • 特征复用程度最高，但计算量随层数增长较快。
  • 更适合需要高精度但计算资源充足的任务。

3. CondenseNet（动态特征筛选网络）

• 核心结构：动态稀疏连接的密集块

• 改进点：

  • 可学习稀疏连接：在训练过程中动态筛选重要的特征连接，减少冗余计算。
  • 分组卷积（Group Convolution）：将输入通道分组，每组独立学习特征，进一步降低计算量。
  • 特征复用优化：保留高频使用的高价值特征，舍弃低频冗余特征。

• 特点：

  • 在 DenseNet 的基础上，通过动态剪枝提升效率。
  • 计算量显著降低，同时保持高精度，适合移动端部署。

特征复用对比

总结

• ResNet：通过残差连接缓解梯度消失，但特征复用受限。
• DenseNet：密集连接最大化特征复用，但计算成本高。
• CondenseNet：在 DenseNet 基础上引入动态特征筛选，平衡效率与精度，是特征复用的高阶优化方案。