1 简介
决策树模型是树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。
其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。
预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤:特征选择、决策树一的生成和决策树的修剪。
2 模型
2.1 模型
用决策树分类，从根结点开始，对一实例的某一特征进行测试，根据测试结果，将实例分配到其子结点这时，每一个子结点对应着该特征的一个取值。
如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。
2.2 决策树与if-then规则
可以将决策树看成一个if-then规则的集合。
决策树转换成if-then，规则的过程：
由决策树的根结点到叶结点间每一条路径构建一条规则;
路径上内部结点的特征对应着规则的条件，而叶节点的类对应着规则的结论；
重要的性质：
互斥并且完备（这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被条路径或一条规则所覆盖。）
2.3 决策树与条件概率分布
决策树还表示给定特征条件下类的条件概率分布。
这一条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元(cell)或区域(region)，并在每个单元定义一个类的概率分布就构成一个条件概率分布。
决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。
假设X表示特征的随机变量，Y为表示类的随机变量，那么这个条件概率分布可以表示为P(Y|X)。X的取值于给定划分下单元的集合，Y取值于类的集合。
各叶结点（单元）上的条件概率往往偏向某一个类，既属于某一类的概率较大。
决策树分类时将该结点的实例强行分到条件概率大的那一类去。
3 学习策略
决策树学习本质上是从训练数据集中归纳出一组分类规则。另一个角度看，决策树学习是由训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。
我们选择的条件概率模型应该不仅对训练数据有很好的拟合，而且对未知数据有一很好的预测。
决策树学习用损失函数表示这目标。如下所述，决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。
当损失函数确定以后，学习问题就变为在损失函数意义下选择最优决策树的问题。因为从所有可能的决策树中选取最优决策树是NY完全问题，所以现实中决策树
学习算法通常采用启发式方法，近似求解这一最优化问题。这样得到的决策树是次最优(sub-optimal)的。
4 算法
4.1 过程简介
决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。
决策树的构建
开始，构建根结点，将所有训练数据都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。
如果这些子集已经能够被基木正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去;
如果还有子集不能被基木正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。如此递归地进行下去，直至所有训练数据子集被纂本正确分类，或者没有合适的特征为止。
最后每个子集都被分到叶结点上，即都有了明确的类。这就生成了一棵决策树。
过拟合现象解决
我们需要对已生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体地，就是去掉过于细分的叶结点，使其回退到父结点，甚至更高的结点，然后将父结点或更高的结点改为新的叶节点。
如果特征数量很多，也可以在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征。
决策树学习算法包含特征选择、决策树的生成与决策树的剪枝过程。
4.2 特征选择问题
特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。
通常特征选择的准则是信息增益或信息增益比。
信息增益
熵
条件熵
信息增益
信息增益比
以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题。使用信息增益比(information gain ratio) 以对这一问题进行校正。这是特征选择的另一准则。
4.3 决策树的生成
4.3.1 ID3算法
4.3.2 C4.5的生成算法
4.4 决策树的剪枝
在决策树学习中将已生成的树进行简化的过程称为剪枝(pruning )
剪枝算法
