梯度下降和正规方程的区别

梯度下降正规方程
需要选择学习速率,当然如果不设置也会有默认值不需要
需要多次迭代一次求导得出
当特征数量n大时也能比较好的适用需要计算(XTX)−1(X^TX)^{-1} (XTX)1 如果特征数量N较大则运算代价大,因为矩阵的逆的计算时间复杂度为O(n3)O(n^3)O(n3) 通常来说当n小于10000时还是可以接受的
适用于各种类型的模型只适用于线性模型,不适合逻辑回归模型等其他模型

关于模型的选择

官方给出了参考图片
红色圆圈的部分,当数据大于100k的时候,建议适用SGDregressor

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐