决策树

决策树：

           

     1.熵的概念

           熵是来衡量随机变量的不确定性的。Shannon entropy来定量化了这种不确定性。 有以下公式 

           H(x)=∑iP(xi)I(xi)=−∑iP(xi)logbP(xi)

       

 

 

  2.信息增益

     信息增益是用来选取属性的。被选择的分类属性，信息增益是最高的。

     举例说明,选取特征把以下数据分类。