线性回归快速回忆

在线性回归（$y=ax+b$）中，使用梯度下降时的公式为：
$$a=a-\eta \frac{dJ}{da}$$

通过求出代价函数 $J$ 对参数 $a$ 的导数，来更新 $a$ ，不断重复该过程，直到某次a值的变化趋于0，即认为已经找到了最佳的 $a$

逻辑回归中的正向传播与反向传播

这里将逻辑回归看成一个：有两个输入，没有隐藏层的简单神经网络。

其中：
z = w 0 + w 1 x 1 + w 2 x 2 y ^ = a = σ ( z ) L ( a , y ) = − ( y log ⁡ ( a ) + ( 1 − y ) log ⁡ ( 1 − a ) ) \begin{aligned} & z = w_0 + w_1 x_1 + w_2 x_2 \\\\ & \hat{y}=a=\sigma(z) \\\\ & \mathcal{L}(a, y)=-(y \log (a)+(1-y) \log (1-a)) \end{aligned} ​z=w0​+w1​x1​+w2​x2​y^​=a=σ(z)L(a,y)=−(ylog(a)+(1−y)log(1−a))​

使用sigmoid $\sigma$ 作为激活函数，$\mathcal{L}$ 为损失函数

正向传播就是输出 $x_1,x_2$ ，通过上述公式计算出 $\hat{y}$

反向传播就是通过得到的 $\hat{y}$，利用上述公式，推导出 $\frac{d\mathcal{L}}{d{w}_1}$ 和 $\frac{d\mathcal{L}}{d{w}_2}$（假设只取一样本）

正向传播很简单，只需要代入算即可。

反向传播只需要使用微积分中的链式法则即可，即：

$$\frac{d\mathcal{L}}{d{w}_1}=\frac{d\mathcal{L}}{da}\frac{da}{dz}\frac{dz}{d{w}_1}$$

其中:
$$\begin{array}{rl}& \frac{d\mathcal{L}}{da}=-\frac{y}{a}+\frac{1-y}{1-a}\\ & \\ & \frac{da}{dz}=a(1-a)\\ & \\ & \frac{dz}{d{w}_1}=x_1\end{array}$$

将上式代入原式，得：

$$\frac{d\mathcal{L}}{d{w}_1}=(a-y)x_1=(\hat{y}-y)x_1$$

到这里，我们计算出了 $\frac{d\mathcal{L}}{d{w}_1}$ ，这样就可以利用梯度下降求解最佳的 $w_1$，即：
$$w_1=w_1-\eta \frac{d\mathcal{L}}{d{w}_1}$$

$w_0和w_2$ 同理

逻辑回归中的正向传播与反向传播-代码实战

有了上面的理论基础，就可以轻松进行实现：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
import math
import random

iris = datasets.load_iris() # 去iris数据集

X = iris.data
y = iris.target
 
X = X[y<2, :2] # 只要0、1的，且只取两个特征
y = y[y<2]

plt.scatter(X[y==0, 0],X[y==0, 1])
plt.scatter(X[y==1, 0],X[y==1, 1])
plt.xlabel("x1")
plt.ylabel("x2")
plt.show()

def z(x1, x2, w0, w1, w2):
    return w0 + w1*x1 + w2*x2

def y_hat(z):
    return 1 / (1 + math.exp(-z))

def dw1(y_hat, y, x1):
    return (y_hat-y) * x1

def dw2(y_hat, y, x2):
    return (y_hat-y) * x2

def dw0(y_hat, y):
    return y_hat - y

# 初始化权重
w0, w1, w2 = random.random(), random.random(), random.random()
eta = 0.01 # 学习率

for _ in range(1000): # 进行1000次学习
    for i, x in enumerate(X):
        x1 = x[0]
        x2 = x[1]
        y_predict = y_hat(z(x1, x2, w0, w1, w2))
        w1 = w1 - eta * dw1(y_predict, y[i], x1)
        w2 = w2 - eta * dw2(y_predict, y[i], x2)
        w0 = w0 - eta * dw0(y_predict, y[i])

x1_plot = np.arange(4, 7, 0.1) # 将直线绘制出来
x2_plot = (w0 + w1*x1_plot)/(-w2)

plt.scatter(X[y==0, 0],X[y==0, 1])
plt.scatter(X[y==1, 0],X[y==1, 1])
plt.plot(x1_plot, x2_plot)
plt.xlabel("x1")
plt.ylabel("x2")
plt.show()

神经网络的正向传播与反向传播

有了上面的基础，我们就可以推导神经网络的正向传播和反向传播的公式了。

这里使用西瓜书的相关符号。

这里，我们有一个神经网络，$d$ 个输入， $l$ 个输出，单个隐层，隐层有 $q$ 个神经元。$v_{ih}$表示$x_i$与$b_h$之间的权重，$w_{hj}$ 表示 $b_h$ 与 $y_j$ 之间的权重。

激活函数使用 sigmoid，记作 $f$

对于训练集 $(x_k,y_k)$， 利用正向传播，我们可以得到第j个输出 ${\hat{y}}_j^k$ 得值，公式为：

$${\hat{y}}_j^k=f({\beta }_j-{\theta }_j)(1)$$

---

(1) 公式的解释：

${\beta }_j$ 为所有隐层“$b_1,\cdots ,b_q$” 与 输出层 $y_j$ 的乘积，即：

$${\beta }_j=w_{1_j}{b}_1+w_{2_j}{b}_2+\cdots +w_{q_j}{b}_q=\sum _{h=1}^q{w}_{hj}{b}_h$$

相当于上一章的 $z=w_0+w_1{x}_1+w_2{x}_2$

此时可以发现 ${\beta }_j$ 少了一个偏移量$w_0$，在西瓜书中，使用 ${\theta }_j$ 表示了这个偏移量。所以才会有 ${\beta }_j-{\theta }_j$。

将其代入 sigmoid 函数，就可以得到 ${\hat{y}}_j^k$ 的值：
$${\hat{y}}_j^k=f({\beta }_j-{\theta }_j)$$

${\hat{y}}_j^k$ 的公式中为什么不包含输入 $x$ ? 其实输入变量 x 包含在 隐层中，即隐层的 $b_j$ 是通过所有 $x$ 和 $w$ 算出来的

---

拿到了 ${\hat{y}}_j^k$ ，就可以定义代价函数了，这里使用均方误差来得出代价函数：

$$E_k=\frac{1}{2}\sum _{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2$$

有了代价函数 $E_k$，那只要求出来 $\frac{\partial E_k}{\partial w_{hj}}$，那就可以利用梯度下降更新$w_{hj}$了，即

$$w_{hj}=w_{hj}-\eta \frac{\partial E_k}{\partial w_{hj}}$$

与上节一样，利用链式法则求$\frac{\partial E_k}{\partial w_{hj}}$， 即：

$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}$$

到这如果可以看懂，基本就算成功了。通过简单计算可以得出：

$$\begin{array}{rl}& \frac{\partial {\beta }_j}{\partial w_{hj}}=b_h\\ & \\ & \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}={\hat{y}}_j^k(1-{\hat{y}}_j^k)\\ & \\ & \frac{\partial E_k}{\partial {\hat{y}}_j^k}={\hat{y}}_j^k-y_j^k\end{array}$$

将其代入原始就可以得到 $w_{hj}$ 的梯度下降公式，即：
$$w_{hj}=w_{hj}-\eta \frac{\partial E_k}{\partial w_{hj}}=w_{hj}-\eta ({\hat{y}}_j^k-y_j^k){\hat{y}}_j^k(1-{\hat{y}}_j^k)b_h$$

同理，也可以得出 $v_{hj}$ 和 ${\theta }_j$ 的梯度下降公式。

参考资料

考研必备数学公式大全: https://blog.csdn.net/zhaohongfei_358/article/details/106039576

机器学习纸上谈兵之线性回归: https://blog.csdn.net/zhaohongfei_358/article/details/117967229

Sigmoid函数求导过程: https://blog.csdn.net/zhaohongfei_358/article/details/119274445

周志华西瓜书

吴恩达深度学习