后端程序员之路 16、信息熵 、决策树、ID3

信息论的熵 - guisu，程序人生。 逆水行舟，不进则退。 - 博客频道 - CSDN.NET
http://blog.csdn.net/hguisu/article/details/27305435

熵（entropy）的计算公式如下：
H_x=-sum_{i=1}^{n}p(x_i)log_{2}{p(x_i)}

《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART) - Thinkgamer博客 - 博客频道 - CSDN.NET
http://blog.csdn.net/gamer_gyt/article/details/51242815

机器学习（三）决策树学习 - lufangtao - 博客园
http://www.cnblogs.com/lufangtao/archive/2013/05/30/3103588.html

数据挖掘之决策树 - 寒潭 - 博客园
http://www.cnblogs.com/hantan2008/archive/2015/07/27/4674097.html

总结：
1、对每个属性计算信息熵，然后使用特定的算法选优可以构建出一棵决策树
2、决策树计算复杂度不大，分类效率高
3、决策树结构简单，画出树状图后很直观，易于理解