DPN是一种densenet和resnet的结合，densenet能搜索新的特征，而resnet能重复使用之前的特征，DPN将两者进行了结合。

跳跃连接的作用

  跳跃连接已在设计现代深度神经网络中被广泛使用，并在许多应用中取得了显著的成功。跳跃连接创建了一条路径，将信息从较低层直接传播到较高层。在正向传播过程中，跳跃连接使得非常顶层的网络能够访问来自远端底层的信息；而对于反向传播，它促进了梯度反向传播到底层，而不会减小幅度，这有效地缓解了梯度消失问题并简化了优化。

简要介绍HORNNs

  原始论文有提到这个模型，简要介绍一下，去找了这个模型的论文，大概长下面这样，图中只是一个简单的示例，一个3rd-oredr的，可以有更高阶的

更一般的状态公式如下

原论文还有一些pool的部分，我也不做这个方向就没仔细去看

densenet的缺点

  因为densenet是直接将之前的通道进行拼接，随着深度的增加，密集连接路径的宽度线性增长，导致参数数量呈二次方增长，如果实现没有特别优化，相比残差网络，这将消耗大量的GPU内存。这限制了构建更深、更宽的密集网络，这可能进一步提高准确性。

从RNN的角度理解resnet和densenet

论文中写成图中的样子，Z是记忆单元，RNN的形式确实是图中那种形式，最右边那个就是HORNNs的形式，论文说resnet本质是densenet的一种特殊情况，证明过程可以自己去看

dpn

具体公式如下

 

第一个公式是densenet一样的通道拼接，第二个是resnet一样的残差连接，然后将结果加起来，最后通过g更新，写成RNN的那种形式有点不太好理解，具体看下面这图

最右边的两张就是dpn，灰色那条是densenet的结构，另一条带加号的就是resnet的结构，更详细的看下面这张图

性能比较

分类

目标检测

语义分割