多元线性回归中的逐步回归及其相关理论介绍

参考书籍：1、《应用多元统计分析》高惠璇1、表达式用来研究因变量Y和m个自变量的相关关系（一共有n个样本，）矩阵表示为：记为或2、回归方程和回归系数的显著性检验2.1 回归方程的显著性检验（又称相关性检验），即不全为0统计量：(在原假设成立时，)计算统计量的值，从而得到p值，或者查表与所对应的F统计量阈值进行比较，从而得到拒绝或不能拒绝原假设的结论。2.2 回归系数的显著性检验3、回归变量的选择3

xiaotian127

10661人浏览 · 2020-12-21 15:10:34

xiaotian127 · 2020-12-21 15:10:34 发布

参考书籍：1、《应用多元统计分析》高惠璇

1、表达式

用来研究因变量Y和m个自变量 $x_1,x_2,...,x_m$ 的相关关系（一共有n个样本， $t=1,2,...,n$ ）

矩阵表示为：

记为 $\left\{\begin{matrix} Y=C\beta +\varepsilon, \\ E(\varepsilon )=0,D(\varepsilon )=\sigma ^2I_n \end{matrix}\right.$ 或 $\left\{\begin{matrix} Y=C\beta+\varepsilon \\ \varepsilon \sim N_n(0,\sigma ^2I_n) \end{matrix}\right.$

2、回归方程和回归系数的显著性检验

2.1 回归方程的显著性检验（又称相关性检验）

$H_0:\beta _1=\beta _2=...=\beta_m$ ，即 $\beta _1,\beta_2,...,\beta_m$ 不全为0

统计量： $F=\frac {ssr/m}{sse/(n-m-1)}$ (在原假设成立时， $F\sim F(m,n-m-1)$ )

计算统计量的值，从而得到p值，或者查表与 $\alpha$ 所对应的F统计量阈值进行比较，从而得到拒绝或不能拒绝原假设的结论。

2.2 回归系数的显著性检验

$H_0^{(i)}:\beta_i=0(i=1,2,...,m)$

3、回归变量的选择

在实际问题中，影响因变量Y的因素（自变量）可能很多，所以要挑选出影响显著的自变量来建立回归关系式，因此涉及到自变量的选择问题。

3.1 分类

可以八种，可以分为三类：

“最优”子集的变量筛选法: stepwise、forward、backward；
计算量很大的全子集法：计算所有可能回归子集（ $2^m-1$ ）后按照变量选择的标准选择最优回归方程，有 $R^2$ 选择法、 $C_p$ 选择法、修正 $R^2$ 选择法；
计算量适中的选择法；

3.2 变量选择的标准

常用的有以下几种准则，分类为：

均方误差 $s^2(A)=\frac {SSE_k}{n-k-1}$ ，其中k为进入模型的变量个数，是回归模型中 $\sigma ^2$ 的无偏估计；
$C_p$ 统计量准则：
其中 $s^2=\frac {Q(A(m))}{n-m-1}$ 。值越小越好
修正 $R^2$ 准则， $\tilde{R}^2=1- \frac{n-i}{n-k-i}(1-R^2)$ ，当模型含有截距项 $\beta _0$ 时 $i=1$ ，否则 $i=0$ 。选合适的回归子集，使得 $\tilde{R}^2$ 达到最大；
AIC,SBC或BIC准则： $\begin{matrix} AIC(A(k)) = nln\frac{Q(A(k))}{n}+2p\\ SBC(A(k))=nln\frac{Q(A(k))}{n}+plnn \\ BIC(A(k)) = nln\frac{Q(A(k))}{n}+2(p+2)q-2q^2 \end{matrix}$ ,其中 $p=k+1$ ,

4、逐步回归分析

基本思想：逐个引入自变量，每次引入对Y影响显著的自变量，并对方程中的老变量逐个进行检验，把变为不显著的变量逐个从方程中剔除，从而得到的最终方程中既不漏掉对Y影响显著的变量，又不包含对Y影响不显著的变量。

逐步回归的基本步骤如下表的三张图所示：

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

Node.js+Vue3.5 实战：豆包快速 / 深度思考模型的流式调用方案

2048 AI社区

基于分布式模型预测控制的多智能体点对点过渡轨迹生成研究（Matlab代码实现）

随着多智能体系统（MAS）在无人机编队、自动驾驶车队、机器人协同操作等领域的广泛应用，如何实现高效、安全、协同的点对点轨迹生成成为核心挑战。分布式模型预测控制（DMPC）通过将集中式优化问题分解为局部子问题，结合预测模型与分布式通信机制，为大规模多智能体系统的轨迹规划提供了有效解决方案。本文系统梳理了DMPC在多智能体点对点过渡中的关键技术，包括模型构建、约束处理、协调机制及优化算法，分析了其可扩

2048 AI社区

基于分布式模型预测控制DMPC的单向拓扑结构下异构车辆车队研究（Matlab代码实现）

DMPC方法通过将每个车辆的控制问题分解为局部优化问题，并利用滚动优化策略进行求解，实现车辆的协同控制。建立车辆动力学模型：考虑异构车辆的动力学差异，采用包含车辆质量、空气阻力系数、滚动阻力系数等参数的非线性车辆动力学模型。设计DMPC控制器：每个车辆作为一个独立的智能体，利用预测状态信息建立自身的优化问题。优化问题的约束包括车辆的动力学约束、控制输入约束和安全距离约束。信息传递机制：每个车辆将自