基于最小平方误差法与岭回归法的火灾气象数据预测模型研究
从图3可知梯度下降法在MSE模型中的表现最为出色:它大大提高了模型的拟合度(R² = 0.98),并显著减少了预测误差(RMSE = 0.96),表明在没有正则化的情况下,梯度下降法能够精确地拟合训练数据。:基于岭回归(梯度下降法)的预测值表现出相对平滑的趋势,虽然整体趋势和真实值相似,但在一些极值点上偏差较大,未能完全捕捉到真实值的波动,特别是在样本索引10、20附近的波动不明显。基于最小二乘法
随着全球气候变化加剧,森林火灾的频率显著增加,尤其是在干燥气候区域。预测火灾的风险对减少火灾造成的经济损失和保护生态系统至关重要。火灾天气指数(FWI)是一个用于评估火灾风险的重要指标,通常基于气象数据进行计算[1] [2]。
线性回归模型作为一种简单且高效的预测工具,广泛应用于气象数据分析。然而,随着模型复杂度的增加和特征数量的增多,线性回归模型可能会出现过拟合问题,导致模型在测试数据上的性能下降。为了克服这一问题,岭回归(Ridge Regression)引入了正则化项,可以有效减少模型的过拟合风险。
本研究利用阿尔及利亚火灾气象数据集,使用岭回归与最小平方误差方法来预测FWI。通过比较最小二乘法[3] [4] 两种求解方式的效果,旨在找出最优的模型方案,以提升火灾预测的准确性。
由于篇幅原因直接放上结果:
梯度下降法求解
梯度下降法是一种迭代优化方法,适用于特征数量较多或数据量较大的场景。它通过反复调整权重向量,使得损失函Lw
最小化。
目标函数:与最小二乘法相同:

梯度计算:
梯度是损失函数对权重
的导数:
![]()
权重更新的公式为:
![]()
其中:
是学习率,控制每次更新的步长。
是梯度,表示当前权重的调整方向和大小。
步骤实现:
(1)初始化权重
:
将权重向量
初始化为零向量。
(2)设置超参数:
设置学习率
和最大迭代次数
。在实验中,设置了学习率
,最大迭代次数
。较高的迭代次数以确保收敛。
(3)迭代更新权重:
根据每次迭代的梯度计算更新权重。实验记录了每次迭代的损失值:
Epoch 0, Loss: 1.7740894393948161
Epoch150000,Loss:0.0018248687094707852

图1:基于MSE法的梯度下降损失曲线
(4)收敛条件:
当损失值的下降速度变慢,权重的变化接近于0时,认为模型收敛,可以停止训练。
(5)模型评估:
均方根误差 (RMSE): 0.96
拟合优度 (R²): 0.98
4.2 岭回归法
岭回归模型
岭回归在最小平方误差损失的基础上引入了L2正则化项,目的是防止模型过拟合,特别是在特征高度相关的情况下。其目标函数为:

其中:
是正则化系数,用于控制模型的复杂度。
1. 最小二乘法求解
岭回归的解析解可以通过在最小二乘法的基础上增加正则化项得到:
![]()
其中:
是单位矩阵,用于确保矩阵
可逆。
步骤实现:
(1)计算协方差矩阵
:
计算
并加上正则化项
,以防止矩阵不可逆。
(2)求解权重 w
:
![]()
求得实验中的权重为:

(3)模型评估:
均方根误差 (RMSE): 2.52
拟合优度 (R²): 0.87
2. 梯度下降法求解
岭回归的梯度下降法通过引入正则化项进行求解,其梯度为:
![]()
权重公式:
权重更新:
w←w-α∇wLw#11![]()
步骤实现:
(1)初始化权重w
:
将权重向量初始化为零。
(2)设置超参数:
设置学习率 α
、最大迭代次数 T
、正则化参数λ
。在实验中,设置了学习率 α=0.01
,最大迭代次数 T=16000
,正则化参数λ=0.01
。较高的迭代次数以确保收敛。
(3)迭代更新权重:
在每次迭代中,计算梯度并根据梯度更新权重。实验中记录的损失变化如下:
Epoch 0, Loss: 2.4524548186057572
Epoch 150000, Loss: 0.02035335825756964

图2:基于岭回归法的梯度下降损失曲线
(4)模型评估:
均方根误差 (RMSE): 3.01
拟合优度 (R²): 0.82
- 结果分析
1.RMSE和R²汇总:
表1:不同回归模型的性能比较
|
模型类型 |
RMSE |
R² |
|
MSE(最小二乘法) |
3.21 |
0.79 |
|
MSE(梯度下降法) |
0.96 |
0.98 |
|
岭回归(最小二乘法) |
2.52 |
0.87 |
|
岭回归(梯度下降法) |
3.01 |
0.82 |

图3:基于MSE法性能条形对比

图4:岭回归法条形对比
分析:从表格1中的结果可以看出,不同的模型类型在FWI预测问题中的表现存在显著差异。
从图3可知梯度下降法在MSE模型中的表现最为出色:它大大提高了模型的拟合度(R² = 0.98),并显著减少了预测误差(RMSE = 0.96),表明在没有正则化的情况下,梯度下降法能够精确地拟合训练数据。
岭回归的表现次之:通过引入L2正则化,它有效改善了普通最小二乘法的性能,特别是最小二乘法求解时的稳健性得到了提高。
从图4梯度下降法在岭回归中的表现不如预期:尽管梯度下降法在理论上应能进一步提升岭回归的效果,但由于可能的参数调优不足,导致它在岭回归中的表现不如最小二乘法。
2.预测结果

图5:基于MSE构建模型的预测值

图6:MSE预测值与真实值对比
分析:真实值的波动较大,显示了实际FWI值在样本间的变化。
基于梯度下降法的预测值相比于真实值,预测的变化幅度较小,似乎没有跟上真实值较为剧烈的波动,尤其是在一些极值点处(例如样本索引为10和20左右)。
图6显示基于最小二乘法的预测值更好地捕捉到了真实值的趋势,虽然仍有一些误差,但总体上能更好地跟随真实值的波动。
从整体上看,基于最小二乘法的预测似乎比基于梯度下降法的预测更接近真实值,特别是在样本索引10、20等较大的波动点。
基于梯度下降法的预测值在大多数情况下低于真实值,表现出一定的偏差

图7:基于岭回归构建的模型预测值

图8:岭回归预测值与真实值对比
分析:基于岭回归(梯度下降法)的预测值表现出相对平滑的趋势,虽然整体趋势和真实值相似,但在一些极值点上偏差较大,未能完全捕捉到真实值的波动,特别是在样本索引10、20附近的波动不明显。
图8显示基于岭回归(最小二乘法)的预测值比梯度下降法更加接近真实值,在多个峰值处的预测表现较好,能够较好地跟随真实值的趋势,尤其是在样本索引10和20处。
基于最小二乘法的岭回归在捕捉样本波动方面表现较好,能够紧跟真实值的波动,尤其是在较大波动的区域(如样本索引10和20左右)。
基于梯度下降法的岭回归相比最小二乘法,预测结果相对偏平滑,未能很好地跟踪真实值的大幅波动,尤其是在峰值区域预测较低。
- 结论
根据上述结果,可以得出以下结论:
1. MSE模型(最小二乘法):
RMSE: 3.21,R²: 0.79
使用最小二乘法求解MSE模型时,尽管模型的拟合程度尚可(R² = 0.79),但预测误差较大(RMSE = 3.21),说明该模型对数据的拟合能力有限,存在一定偏差,表现并不理想。
2. MSE模型(梯度下降法):
RMSE: 0.96,R²: 0.98
使用梯度下降法求解MSE模型的表现非常出色,显著减少了预测误差(RMSE = 0.96),同时拟合优度(R² = 0.98) 接近1,表明模型能够非常准确地拟合数据。这显示出梯度下降法的有效性,特别是在优化高维特征问题时。
3. 岭回归模型(最小二乘法):
RMSE: 2.52,R²: 0.87
引入L2正则化的岭回归模型,通过最小二乘法求解时表现优于普通MSE模型,降低了预测误差(RMSE = 2.52),并且拟合度有所提高(R² = 0.87)。这说明岭回归通过正则化有效减少了模型过拟合,提升了模型的鲁棒性和稳健性。
4. 岭回归模型(梯度下降法):
RMSE: 3.01,R²: 0.82
使用梯度下降法求解岭回归模型,尽管效果较普通MSE有所提升,但预测误差(RMSE = 3.01)和拟合优度(R² = 0.82)仍然不如岭回归的最小二乘法求解。这可能表明,正则化参数或学习率的设置对梯度下降法的效果产生了影响,导致性能未能达到最优。
总结:
MSE(梯度下降法)表现最佳,预测误差最低,拟合度最高,适合在火灾天气指数预测中使用。
岭回归(最小二乘法)则在减少过拟合和改善模型稳健性方面有较好的效果,适合处理特征多重共线性的问题。
岭回归(梯度下降法)的表现不如预期,可能需要进一步调优超参数以提升效果。
总体来看,梯度下降法在MSE模型中的效果最好,而在岭回归中应用最小二乘法效果最最好。在实际应用中,可以根据需求选择合适的模型。

更多推荐


所有评论(0)