最小二乘法：使离差平方和  （i=1~n）  ∑（yi-yi'）  最小的方法

结论：设回归方程为y'=bx+a;解得

回归直线方程：在一组具有相关关系的变量与数据的（x，y）间，最能体现x,y关系的直线（一条尽可能接近所有数据点的直线）

设回归方程为y'=bx+a;

要使直线最拟合，则使（i=1~n）  ∑（yi-yi'） 最小，但yi-yi'可能为负，无法正确反映整体数据的切合程度，所以用平方，使得∑（yi-yi'）^2最小,由n组xi,yi,最终解得

线性回归中的最小二乘法

线性回归模型

f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b = W^{T}X+b

用最小二乘法最小化残差得损失函数为E(W,b)=\sum_{i=1}^{m} (f(x)-y_{i})^{2}=\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}

最小化误差：(W^{*},b^{*})=arg min\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}

分别对W,b求偏导得：

\frac{\partial E }{\partial W }=2(W\sum_{i=1}^{m}X^{2}+\sum_{i=1}^{m}x_{i}(b-y_{i}))

\frac{\partial E }{\partial b }=2(mb+\sum_{i=1}^{m}(WX-y_{i}))

对于比较简单的函数，我们令偏导=0就可求出最优值W与b:

W=\frac{\sum_{i=1}^{m}y_{i}(X_{i}-\bar{X})}{\sum_{i=1}^{m}X_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m}X_{i})^{2}}

b=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-WX_{i})

其中\bar{x}=\frac{1}{m}\sum_{i=1}^{m}X_{i}

但对于像下图这样有多个最优解的情况，我们用梯度下降法一步步找最优值，避免陷入局部最优解的情况，且计算量小很多。

W=W-\alpha \frac{\partial E}{\partial W}

b=b-\alpha \frac{\partial E}{\partial b} 

多元线性回归

最终求得：

推导过程

 

 

推导过程可见：https://blog.csdn.net/marsjohn/article/details/54911788

# 机器学习
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

中小企AI技术不足？架构师的6个低代码+SaaS方案

中小企业的AI落地，从来不是「技术问题」，而是「选择问题」——选择「低代码+SaaS」的组合，就是选择「用最小的资源获得最大的价值」。本文的6个方案，覆盖了中小企业最常见的业务场景，每个方案都有「可视化配置步骤」和「真实案例」，希望能帮助中小企业突破AI落地的困局，实现「智能化转型」。未来，随着生成式AI与低代码、SaaS的进一步融合，中小企业的AI落地门槛会越来越低——AI不再是「大企业的专利」

avatar 2048 AI社区

AI开发新关键：上下文工程,第395章

AI开发新关键：上下文工程-摘要

avatar 2048 AI社区

提示工程架构师的提示方案，增强用户体验的核心方法

提示工程不是“如何让大模型更聪明”，而是“如何让大模型更懂用户”。作为提示工程架构师，我们的工作从来不是“写几个完美的Prompt”，而是“持续理解用户的需求，优化提示系统，让AI的能力通过更自然的方式传递给用户”。“好的提示，不是让用户适应AI，而是让AI适应用户。附录：关键术语表提示工程（Prompt Engineering）：设计和优化提示，让大模型输出符合预期的结果；用户认知模型（Cogn

avatar 2048 AI社区