决策树知识总结+随机森林(两个随机)

决策树：以树形结构表示决策过程的模型。

常用于分类过程，但也可以用于回归，分类模型时中间节点为属性，叶子节点为类别。

特点：

• 决策过程可以表示成 If Then 形式.
• 推理过程完全依赖于属性变量的取值特点
• 结束条件：a.数据都属于同一类别。b.属性已经用完(此时投票法决定类别)

常用的决策树算法(树的生成过程)

1. ID3算法，采用作为信息增益度度量指标,通过最大化信息增益来选择属性。通过在验证集上的效果来剪枝(预剪枝+后剪枝，防止过拟合的的主要手段)。

• 缺点：
  • 偏向于选择取值较多的特征,例如，生日、身份证(对未知样本的预测几乎没有帮助)。改进：信息增益比,C4.5的做法。

2. 分类回归树 CART(Classification and Regression Trees)：二元划分(二叉树)。分类时度量指标为Gini指标(最小化基尼指数)、 Towing；回归问题时，度量指标以为最小平方残差。直观来说， Gini(D) 反映了从数据集D 中随机抽取两个样本，其类别标记不一致的概率。因此， Gini(D) 越小，则数据集D 的纯度越高。设结点数据集为 D ，对每个特征 A ，对其每个值 a ，根据样本点对A=a 的测试为是或否，将 D 分为 D1 D2 ，计算 A=a 的基尼指数。

   

随机森林，2个随机(bootstrap+特征m)

随机森林在 bagging基础上做了 修改：

• 应用 bootstrap 法有放回地随机抽取 k个新的自助样本集(boostrap)，并由此构建 k 棵分类树(ID3 、 C4.5 、 CART)样本扰动。
• 先随机选择属性子集，个数为k，然后再从这个子集中选择一个最优属性用于划分。属性扰动