留给自己的备忘：

线性回归（linear regression）的原理

1概述

回归，统计学术语，表示变量之间的某种数量依存关系，并由此引出回归方程，回归系数。

线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。

2、特点、优点

 

 

3、模型

分为单变量线性回归和多变量线性回归，根据实际应用，一般肯定都是多变量。

模型是： ，θ是参数向量，X是输入量的向量。

展开： 。

 

另外，多项式回归，一般情况下可以转化为多变量线性回归模型，进行处理。

比如： ，

可以令x2=x2²,x3=x3³,则，模型可以转化为线性模型。

在多项式回归的梯度下降求解时，特征放缩是非常必要的。

 

5、代价函数

所有误差的平方和：

最小二乘法，即求J（θ）的最小值，便是模型应有的参数。

 

6、求解模型参数的方法

方法1：批量梯度下降法

方法2：正规方程法

 

注意：像特征数很大的线性回归和逻辑回归等，不适宜用正规方程法。

 

 

7、常见应用场景

模拟量的，连续值的。举例：

(1)给你自变量广告费用(x)，让你预测曝光次数(y)。

(2)根据身高预测体重。

(3)根据面积、卧室数预测房价。