简介
机器学习算法其实很古老，作为一个码农经常会不停的敲if, else if, else,其实就已经在用到决策树的思想了。只是你有没有想过，有这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确的定量选择这个标准就是决策树机器学习算法的关键了。
在这个算法中，基本的构造流程，采取某一个特征划分，不纯度判断的原理，三种不同的方法，错误率越高，纯度越低，这个方法效果不好，我们想到了其他两个方法，信息熵，熵越少，越稳定，还有就是基尼指数，两个效果差不多，实际使用中有一个差别，基尼指数运算快，消耗的计算资源少，但是信息熵对纯度更敏感一些。
决策树是不需要标准化的，决策树擅长解决分类的问题，分类就是决策。
总结
先用的特征和后用的重要性是不一样的，适合非线性的。
请看：https://www.cnblogs.com/yonghao/p/5061873.html