目录

一、什么是提升树

二、提升树模型

三、提升树算法

3.1 分类提升树

3.2回归提升树

四、提升树例子

以上皆参考李航老师的《统计学习方法》，如博客有不足之处，还请指教！！！

一、什么是提升树

提升树（BT,Boosting Tree）是以分类树和回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。

以决策树为基函数的提升方法称为提升树。

二、提升树模型

提升方法采用加法模型（即基函数的线性组合）与前向分步方法。

对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。

提升树模型可以表示为决策树的加法模型：

三、提升树算法

那么具体怎么计算呢？

首先，提升树算法采用前向分步算法，确定出是提升树f0(x)=0,第m步的模型是：

3.1 分类提升树

分类提升树可看作AdaBoost算法的特殊情况，后续将在AdaBoost中详细介绍。

3.2回归提升树

已知一个训练数据集T={（Xi,Yi),i=1,2,3.....n}，X为输入，Y为输出。如果将X划分为J个互不相交的区域R1,R2,R3,...Rj，并且在每个区域上确定输出的常量Cj，那么树可表示为：

四、提升树例子

 五、梯度提升

提升树利用加法模型与前向分步算法实现的优化过程。当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，每一步优化并不容易，Freidman提出了梯度提升算法。

利用损失函数的负梯度在当前模型的值

 作为回归问题提升树算法的残差的近似值，拟合一个回归树。