CART剪枝

1. CART剪枝介绍

CART 剪枝算法从完全生长的决策树的底端剪去一些子树，使决策树变小（模型简单），从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树(T_0)底端开始不断剪枝，直到(T_0)的根节点，形成一个子序列({T_0,T_1,T_3,.....T_n}),然后通过交叉验证在独立的验证集上对子树序列进行测试，从中选择最优子树。

2. 剪枝的两个过程

2.1 剪枝，形成一个子树序列

在剪枝过程中，计算子树的损失函数$$C_{alpha}(T) = C(T) + alpha|T|$$
其中，T为任意子树，(C(T))为对训练数据的预测误差（如基尼系数），(|T|)为子树叶节点个数，(alpha >= 0),(C_{alpha}(T))为参数是(alpha)时的子树(T)的整体损失，参数(alpha)权衡训练数据的拟合程度与模型的复杂度。
对于每一个给定的(alpha)，都有唯一的最优子树(T_{alpha})使得(C_{alpha}(T))最小。
下面是通过(alpha)的变化来解释树的复杂度

当(alpha)比较大的时候，最优子树(T_{alpha})偏小
当(alpha)比较小时，最优子树(T_{alpha})偏大
当(alpha = 0)时，最优子树为未剪枝的(T_0)
当 (alpha ightarrow+infty),最优子树为根结点树

具体的,从整体树(T_0)开始剪枝，对(T_0)的的任意内部结点(t),以(t)为单结点树的损失函数为$$C_{alpha}(t) = C(t) + alpha$$
以(t)为根结点的子树(T_t)的损失函数是$$C_{alpha}(T_t) = C(T_t) + alpha|T_t|$$
当(alpha=0)或充分小时，有不等式$$C_{alpha}(T_t) < C_{alpha}(t)$$
当(alpha)增大时，必在某一点有$$C_{alpha}(T_t) = C_{alpha}(t)$$
此时可以计算得到$$alpha = frac{C(t) - C_{alpha}(T_t)}{|T_t| - 1}$$
当(alpha)继续增大时，不等式反向，只要(alpha = frac{C(t) - C_{alpha}(T_t)}{|T_t| - 1})，(T_t)与(t)有相同的损失函数值，而(t)的结点少，因此(t)比(T_t)更可取，对(T_t)进行剪枝。
通过上述方法，我们可以计算出({(alpha_0,T_0),(alpha_1,T_1),....(alpha_n,T_n)})

2.2 在剪枝得到的子树序列({T_0,T_1,T_2,...T_n})中通过交叉验证选取最优子树(T_{alpha})

具体地，利用独立的验证数据集，测试子树序列(T_0,T_1,....T_n)中各棵子树的平方误差或基尼指数。依据平方误差或基尼指数最小来选择其中最优的决策树，其相应的(alpha)也就确定了，得到最优决策树(T_{alpha})