交叉熵损失函数

• 在计算交叉熵损失函数时，一般将Softmax函数与交叉熵函数统一实现。我们先推导
  Softmax 函数的梯度，再推导交叉熵函数的梯度

softmax函数梯度

• softmax函数表达式
  $$p_i=\frac{e^{z_i}}{\sum _{k=1}^K{e}^{z_k}}$$
  它的功能是将𝐾个输出节点的值转换为概率，并保证概率之和为 1。$z_i$ 是第 $i$ 个节点的输出,$p_i$ 是第 $i$ 个节点的输出经过softmax后的输出概率。

• 偏导数，当i = j时
  $$
  \begin{aligned}
  \frac{\partial p_i}{\partial z_j} &= \frac{\partial \frac{e^{{z_i}}{\sum\limits_{k=1}}Ke^{z_k}}}{\partial z_j} \

  & = \frac{e^{z_i} * \sum\limits_{k=1}^Ke{z_k} - e^{z_i}*e{z_j} }{(\sum\limits_{k=1}^Ke{z_k})^2} \
  & = \frac{e^{z_i} * (\sum\limits_{k=1}^Ke{z_k} - e^{z_j} )}{(\sum\limits_{k=1}^Ke{z_k})^2} \
  & = \frac{e^{z_i} }{\sum\limits_{k=1}^Ke{z_k}}*\frac{\sum\limits_{k=1}^Ke{z_k} - e^{{z_j}}{\sum\limits_{k=1}}Ke^{z_k}}\
  &=p_i * (1-p_j)
  \end{aligned}
  KaTeX parse error: Unexpected character: '?' at position 13: 可以看到，上式是概率值?̲?𝑖和1 − 𝑝 的相乘，…
  \frac{\partial p_i}{\partial z_j} = p_i * (1-p_j) , i = j
  $$

• 偏导数，当 i $\ne$ j 时
  $$
  \begin{aligned}
  \frac{\partial p_i}{\partial z_j} &= \frac{\partial \frac{e^{{z_i}}{\sum\limits_{k=1}}Ke^{z_k}}}{\partial z_j} \

  & = \frac{0 - e^{z_i}*e{z_j} }{(\sum\limits_{k=1}^Ke{z_k})^2} \
  & = -\frac{e^{{z_i}}{\sum\limits_{k=1}}Ke^{z_k}}* \frac{e^{{z_j}}{\sum\limits_{k=1}}Ke^{z_k}} \
  & = -p_i*p_j
  \end{aligned}
  $$

• softmax偏导数表达式
  $$\frac{\partial p_i}{\partial z_i}=\{\begin{array}{c}{p}_i\ast (1-p_j)当i=j\\ -p_i\ast p_j当i\ne j\end{array}$$

  ---

交叉熵梯度

• 交叉熵损失函数表达式
  $$L=-\sum _k{y}_k\log p_k$$

• 这里直接来推导最终损失值L对网络输出 logits 变量𝑧𝑖的偏导数，展开为:
  $$
  \begin{aligned}
  \frac{\partial L}{\partial z_i} & = -\sum_k y_k\frac{\partial \log {p_k}}{\partial z_i} \
  & = -\sum_k y_k\frac{\partial \log {p_k}}{\partial p_k} \frac{\partial p_k}{\partial z_i} \
  & = -\sum_k y_k\frac{1}{p_k} \frac{\partial p_k}{\partial z_i} \
  & 根据softmax偏导数表达式：\
  &=\left{
  \begin{array}{}
  -\sum_k y_k\frac{1}{p_k} p_i(1-p_k) \quad i=k \
  -\sum_k y_k\frac{1}{p_k} (-p_ip_k) \quad i\ne k
  \end{array}
  \right. \
  & = -y_i(1-p_i) - \sum_{k\ne i} y_k\frac{1}{p_k} (-p_ip_k) \
  & = -y_i+y_ip_i+\sum_{k\ne i}y_kp_i \
  & = p_i(y_i+\sum_{k\ne i}y_k) -y_i

  \end{aligned}
  $$
  完成交叉熵损失函数的梯度推导

• 特别的，对于分类问题中标签𝑦通过 One-hot 编码的方式，则有如下关系:
  $$\begin{gathered} \sum _k{y}_k=1 \\ {y}_i+\sum _{k\ne i}{y}_k=1 \end{gathered}$$
  因此交叉熵损失函数的偏导数可以进一步简化为
  $$\frac{\partial L}{\partial z_i}=p_i-y_i$$