李航《统计学习方法》AdaBoost算法(课后习题)
AdaBoost:https://blog.csdn.net/v_JULY_v/article/details/40718799提升树:https://www.cnblogs.com/daguankele/p/6557328.html强可学习的:一个概念如果存在一个多项式的学习算法能够学习它,并且正确了很高,那么,这个概念是强可学习的;弱可学习的:一个概念如果存在一个多项式的学习算法能...
AdaBoost:https://blog.csdn.net/v_JULY_v/article/details/40718799
提升树:https://www.cnblogs.com/daguankele/p/6557328.html
强可学习的:一个概念如果存在一个多项式的学习算法能够学习它,并且正确了很高,那么,这个概念是强可学习的;
弱可学习的:一个概念如果存在一个多项式的学习算法能够学习它,并且学习的正确率仅比随机猜测略好,那么,这个概念是强可学习的;
强可学习和弱可学习是等价的;
在学习中,如果发现了“弱学习算法“,能否将他提升为“强学习算法”
大多数提升方法是改变训练数据的概率分布(训练数据的权值分布)
1.在每一轮如何改变训练数据的权值和概率分布?
提高被前一轮错误分类样本的权值,降低正确分类样本的权值
2.如何将弱分类器组合成强分类器?
选取多数表决方式,即加大分类误差小的弱分类器权重
AdaBoost就是将一些简单可训练的非线性关系,通过加权和的方式将多个非线性关系相加,其中每次训练的数据集的权重不同,参见1
提升树:损失函数为平方损失为回归,指数损失为分类器
针对其他损失函数,提出梯度提升方法,不再使用残差而是损失的负梯度
习题8.1 问题总结为:AdaBoost算法学习一个强分类器,且假设弱分类器为决策树桩
则 涉及:AdaBoost学习强分类器方法,参考8.1.3例子;并涉及决策树分类器知识,选用CART算法,可参考5.5 定义5.4 (基尼指数)算法5.6(CART生成算法) 例5.4
以上多为自己计算,参考了书本知识和网上资源,但发现有些不同,有错误的地方希望大家指出,共同学习
更多推荐
所有评论(0)