线性回归

1.概述

回归是一种应用广泛的预测建模技术，这种技术的核心在于预测的结果是连续型变量。决策树，随机森林，支持向量机的分类器等分类算法的预测标签是分类变量，多以{0，1}来表示，而无监督学习算法比如PCA，KMeans的目标根本不是求解出标签，注意加以区别。回归算法源于统计学理论，它可能是机器学习算法中产生最早的算法之一，其在现实中的应用非常广泛，包括使用其他经济指标预测股票市场指数，根据喷射流的特征预测区域内的降水量，根据公司的广告花费预测总销售额，或者根据有机物质中残留的碳-14的量来估计化石的年龄等等，只要一切基于特征预测连续型变量的需求，都使用回归技术。

既然线性回归是源于统计分析，我们就可以用不同的角度去理解它。从统计学的角度来看，我们对线性回归有许多要求，比如残差要满足正态分布，要排除共线性等等，然而从机器学习的角度来说，无论服从什么分布，无论是否存在共线性，只要模型效果好就行。

2.多元线性回归的基本原理

线性回归是机器学习中最简单的回归算法，多元线性回归指的是有一个样本包含有多个特征的线性回归问题。对于一个有$n$个特征的样本而言，它的回归结果可以写作一个方程：
$${\hat{y}}_i={\omega }_0+{\omega }_1{x}_{i1}+{\omega }_2{x}_{i2}+{\omega }_3{x}_{i3}+...+{\omega }_n{x}_{in}$$
其中$\omega$被统称为模型的参数，其中${\omega }_0$被称为截距，${\omega }_1...{\omega }_n$被称为回归系数，有时也用$\theta$来表示。
其中$y$是我们的目标变量，也就是标签。$x_{i1}...x_{in}$是样本$i$上的不同特征。如果考虑我们有$m$个样本，则$m$个样本的回归结果可以被写
作：
$${\hat{y}}_i={\omega }_0+{\omega }_1{x}_1+{\omega }_2{x}_2+{\omega }_3{x}_3+...+{\omega }_n{x}_n$$

其中$y$是包含了$m$个全部的样本的回归结果的列向量。注意，我们通常使用粗体的小写字母来表示列向量，粗体的大写字母表示矩阵。我们可以使用矩阵来表示这个方程，其中$\omega$可以被看做是一个结构为$(1,n)$的列矩阵，$X$是一个结构为$(m,n)$的特征矩阵，则有：
$$\left(\begin{array}{c}{\hat{y}}_0\\ ⋮\\ {\hat{y}}_n\end{array}\right)=\left(\begin{array}{ccccc}1& 1& 1& ⋮& 1\\ x_{11}& x_{12}& x_{13}& ⋮& x_{1n}\\ x_{21}& x_{22}& x_{23}& ⋮& x_{2n}\\ ⋮& & & & \\ x_{m1}& x_{m2}& x_{m3}& ⋮& x_{mn}\end{array}\right)\ast \left(\begin{array}{c}{\omega }_0\\ ⋮\\ {\omega }_n\end{array}\right)$$
$$\hat{y}=X\omega$$

线性回归的任务，就是构造一个预测函数来映射输入的特征矩阵$X$和标签值$y$的线性关系，这个预测函数在不同的文章上写法不同，可能写作$f(x)$或者$h(x)$等等形式，但无论如何，这个预测函数的本质就是我们需要构建的模型，而构造预测函数的核心就是找出模型的参数向量$\omega$。

在多元线性回归中，我们的损失函数如下定义：
$$Loss=\sum _{i=1}^m(y_i-{\hat{y}}_i{)}^2$$
其中$y_i$是样本$i$对应的真实标签，${\hat{y}}_i$，也就是$X_i\omega$是样本$i$在一组参数$\omega$下的预测标签。

首先，这个损失函数代表了向量$y-\hat{y}$的L2范式的平方结果，L2范式的本质是就是欧式距离，即是两个向量上的每个点对应相减后的平方和再开平方，我们现在只实现了向量上每个点对应相减后的平方和，并没有开方，所以我们的损失函数是L2范式，即欧式距离的平方结果。
在这个平方结果下，我们的$y$和$\hat{y}$分别是我们的真实标签和预测值，也就是说，这个损失函数是在计算我们的真实标签和预测值之间的距离。因此，我们认为这个损失函数衡量了我们构造的模型的预测结果和真实标签的差异，因此我们固然希望我们的预测结果和真实值差异越小越好。所以我们的求解目标就可以转化成：
$$\underset{\omega }{\min }||y-X\omega |{|}_2^2$$

其中右下角的2表示向量$y-X\omega$的L2范式，也就是我们的损失函数所代表的含义。在L2范式上开平方，就是我们的损失函数。这个式子，也正是sklearn当中，用在类Linear_model.LinerRegression 背后使用的损失函数。我们往往称呼这个式子为SSE（Sum of Sqaured Error，误差平方和）或者RSS（Residual Sum of Squares 残差平方和）。

3. 最小二乘法求解多元线性回归的参数

现在问题转换成了求解让RSS最小化的参数向量 ，这种通过最小化真实值和预测值之间的RSS来求解参数的方法叫做最小二乘法。最小二乘法的过程非常简单。求解极值的第一步往往是求解一阶导数并让一阶导数等于0，最小二乘法也不能免俗。因此，我们现在残差平方和RSS上对参数向量$\omega$求导。
$$\begin{gathered} \frac{\partial RSS}{\partial \omega }=\frac{\partial ||y-X\omega |{|}_2^2}{\partial \omega } \\ =\frac{\partial (y-X\omega {)}^T(y-X\omega )}{\partial \omega } \\ \because (A-B{)}^T=A^T-B^{T}and(AB{)}^T=B^T\ast A^T \\ \therefore =\frac{\partial (y^T-{\omega }^T{X}^T)(y-X\omega )}{\partial \omega } \\ =\frac{\partial (y^{T}y-{\omega }^T{X}^{T}y-y^{T}X\omega +{\omega }^T{X}^{T}X\omega )}{\partial \omega } \\ =\frac{\partial y^{T}y-\partial {\omega }^T{X}^{T}y-\partial y^{T}X\omega +\partial {\omega }^T{X}^{T}X\omega }{\partial \omega } \\ \because 矩阵求导中，当a为常数，有如下规则： \\ \frac{\partial a}{\partial A}=0 \\ \frac{\partial A^T{B}^{T}C}{\partial A}=B^{T}C \\ \frac{\partial C^{T}BA}{\partial A}=B^{T}C \\ \frac{\partial A^{T}BA}{\partial A}=(B+B^T)A \\ 原式=0-X^{T}y-X^{T}y+2X^{T}X\omega \\ =X^{T}X\omega -X^{T}y \end{gathered}$$

我们让求导后的一阶导数为0，并且我们的特征矩阵$X$肯定不会是一个所有元素都为0的矩阵，因此我们的$X^{T}X$不会为0，因此我们可以得到:
$$\begin{gathered} X^{T}X\omega -X^{T}y=0 \\ {X}^{T}X\omega =X^{T}y \\ \omega =(X^{T}X{)}^{-1}{X}^{T}y \end{gathered}$$

而此时我们的$\omega$就是我们参数的最优解。求解出这个参数向量，我们就解出了我们的$X\omega$，也就能够计算出我们的预测值$\hat{y}$了。

代码

import numpy as np 

class LinearRegression:
    def __init__(self) -> None:
        self.w = None
        self.coef_ = None 
        self.intercept_ = None
    
    def fit(self, x_train, y_train):
        
        one = np.ones(shape=(len(x_train),1))
        x_train = np.concatenate([one, x_train], axis=1)
        w = np.linalg.inv(x_train.T.dot(x_train)).dot(x_train.T).dot(y_train)
        
        self.w = w 
        self.coef_ = w[1:]
        self.intercept_ = w[0]
    
    def predict(self, x_test):
        
        one = np.ones(shape=(len(x_test), 1))
        x_test = np.concatenate([one, x_test], axis=1)
        y_pred = x_test.dot((self.w).T)
        return y_pred
    
    
# 生成训练数据
x0 = [1, 2, 3, 4, 5, 6, 7, 8, 9,10]
x1 = [1, 3, 3, 8, 5, 6, 0, 8, 9,8]
X = np.array([[x0[i], x1[i]] for i in range(len(x0))])
y = np.zeros(len(x0))
for i in range(len(x0)):
    y[i] = 2 * x0[i] + 3 * x1[i] + 4
 
X_train = X[:8]
y_train = y[:8]
X_test = X[8:]
y_test = y[8:]
 
# 模型训练
model = LinearRegression()
model.fit(X_train, y_train)
print(f'model.coef_:{model.coef_}')
print(f'model.intercept_:{model.intercept_}')
# 模型预测
y_pred = model.predict(X_test)

参考

【机器学习】手撕多元线性回归-CSDN博客
菜菜的sklearn课堂