神经网络和深度学习

考虑如上卷积神经网络，第一层中，卷积算子规模为3，也就是 $h_i=s(\sum _{j=1}^3{v}_j{x}_{i+j-1})$ 。第二层全连接，$z=\sum _{i=1}^4{w}_i{h}_i$。隐藏层激活函数为 $sigmoid$ ，输出层为线性。 a). 网络结构中的参数规模（注意卷积层参数共享）b). 采用梯度计算 $loss$ 函数，$R=(y-z{)}^2$ ，$y$ 为输入 $x$ 的真实值。求解 $\frac{\partial R}{\partial w_i}$ 和 $\frac{R}{\partial v_j}$

• a). 卷积算子的参数规模是$3$，（卷积算子一般为矩阵，应该是说矩阵规模为$3\times 3$？卷积层参数共享，则卷积层参数数量为$3\times 3=9$）如果卷积算子规模只是单纯为3，则卷积层的参数规模为3.
  第一层到第二层全连接，参数规模为$6\times 4=24$输出层有4个参数。隐藏层有4个偏置参数，输出层有1个偏置参数，所以总的参数规模是$3+24+4+4+1=36$或者$9+24+4+4+1=42$（如果卷积算子为矩阵形式）。

• b). $\frac{\partial R}{\partial w_i}=\frac{\partial R}{\partial z}\times \frac{\partial z}{\partial w_i}$，$z=\sum _{i=1}^4{w}_i{h}_i$，于是
  $$\frac{\partial R}{\partial w_i}=2(z-y)\times h_i=2h_i(z-y)$$

(题目可能错了，应该是计算 $\frac{\partial R}{\partial v_j}$ 而不是 $\frac{R}{\partial v_j}$ )

$\frac{\partial R}{\partial v_j}=\frac{\partial R}{\partial z}\times \sum (\frac{\partial z}{\partial h_i}\times \frac{\partial h_i}{\partial v_j}),\sum (\frac{\partial z}{\partial h_i}\times \frac{\partial h_i}{\partial v_j})=\sum (w_i{x}_{i+j-1})$， 于是
$$\frac{\partial R}{\partial v_j}=2(z-y)\times \sum _{i=1}^4{w}_i{x}_{i+j-1}$$

卷积神经网络的输出结果a). 已知道下述卷积算子和二维输入矩阵，步长为1，不在边缘填充0时，输出矩阵的大小？b). 给出输出矩阵的第一个元素取值。

$$\begin{gathered} \begin{array}{lll}1& 0& 1\\ 0& 1& 0\\ 1& 0& 1\end{array} \\ 卷积算子 \end{gathered}$$

$$\begin{gathered} \begin{array}{ccccccc}1& 0& 1& 0& 1& 0& 1\\ 1& 0& 0& 1& 1& 1& 1\\ 0& 1& 0& 0& 1& 0& 1\\ 1& 1& 0& 1& 1& 1& 0\\ 1& 0& 1& 1& 1& 0& 0\\ 1& 0& 0& 1& 0& 1& 0\\ 0& 1& 0& 1& 1& 0& 0\end{array} \\ 输入矩阵 \end{gathered}$$

• a). 输入矩阵的规模为$7\times 7$，卷积算子的大小为$3\times 3$，步长为1，于是不在边缘填充0时，输出矩阵的大小应该为$(7-3+1)\times (7-3+1)=25$，实际是一个大小为$5\times 5$的矩阵。

• b). 输出矩阵的第一个元素的取值是$1\times 1+0\times 0+1\times 1+0\times 1+1\times 0+0\times 0+1\times 0+0\times 1+1\times 0=2$