提升树

1. 提升树模型

提升方法实际采用加法模型与前向分步算法，以决策树为基函数的提升方法称为提升树（Boosting Tree），对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。

提升树模型可以表示为决策树的加法模型：

2. 提升树方法

提升树算法采用前向分步算法。首先确定初始提升树 f₀(x) = 0，第 m 步的模型是：

其中，f_m-1(x)  为当前模型，通过经验风险极小化确定下一棵决策树的参数 Θ_m ，

下面讨论针对不同问题的提升树学习方法，其主要区别在于使用的损失函数不同。 包括用平方误差损失函数的回归问题，用指数损失函数的分类问题，以及用一般损失函数的一般决策问题。

下面叙述回归问题的提升树：

回归问题的提升树算法

 

2.1 具体实例

例：如表所示的训练数据，x 的取值范围 [0.5, 10.5]，y 的取值范围 [5, 10]，学习这个回归问题的提升树模型，考虑只用树桩作为基函数。

xi	1	2	3	4	5	6	7	8	9	10
yi	5.56	5.7	5.91	6.4	6.8	7.05	8.9	8.7	9	9.05

解：

按照上面算法，第一步求 f₁(x) 即回归树 T₁(x)。