一、实验目的
此表中有14条实例数据，就是我们的训练数据。
其中 Outlook, Temperature, Humidity, Wind 称作条件属性，PlayTennis 称作是决策属性(标签)。
每一个属性都有各自的值记做：
1 Value(Outlook)={Sunny, OverCast, Rain} 2 Value(Temperature)={Hot, Mild, Cool} 3 Value(Humidity)={High, Normal} 4 Value(Wind)={Strong, Weak} 5 Value(PlayTennis)={NO, Yes}
有以上数据，目的是建立决策树，导入数据，选择特征值并挑选最佳特征位，训练数据计算熵值。
二、代码实现过程
1、引用
1 from math import log #进行对数运算 2 from matplotlib.font_manager import FontProperties #中文字体 3 import matplotlib.pyplot as plt #画图
2、算给定数据集的经验熵（香农熵）
香农熵公式：
1 def calcShannonEnt(dataSet): 2 numEntries=len(dataSet) #数据集行数 3 labelCounts={} #声明保存每个标签（label）出现次数的字典 4 for featVec in dataSet: #对每组特征向量进行统计 5 currentLabel=featVec[-1] #提取标签信息 6 if currentLabel not in labelCounts.keys(): #如果标签没有放入统计次数的字典，添加进去 7 labelCounts[currentLabel]=0 8 labelCounts[currentLabel]+=1 #label计数 9 #以上是将每个标签出现的次数放入labelCounts字典中，目的就是求出香农公式里的P(x) 10 shannonEnt=0.0 #经验熵 11 for key in labelCounts: #计算经验熵 12 prob=float(labelCounts[key])/numEntries #选择该标签的概率 13 shannonEnt-=prob*log(prob,2) #利用公式计算 14 return shannonEnt #返回经验熵
3、创建数据集
以上面给的数据为例，因为数据较少，没有进行文件数据的读取操作，直接定义数据
1 def createDataSet(): 2 data = [ 3 ['Sunny', 'Hot', 'High', 'Weak', 'No'], 4 ['Sunny', 'Hot', 'High', 'Strong', 'No'], 5 ['Overcast', 'Hot', 'High', 'Weak', 'Yes'], 6 ['Rain', 'Mild', 'High', 'Weak', 'Yes'], 7 ['Rain', 'Cool', 'Normal', 'Weak', 'Yes'], 8 ['Rain', 'Cool', 'Normal', 'Strong', 'No'], 9 ['Overcast', 'Cool', 'Normal', 'Strong', 'Yes'], 10 ['Sunny', 'Mild', 'High', 'Weak', 'No'], 11 ['Sunny', 'Cool', 'Normal', 'Weak', 'Yes'], 12 ['Rain', 'Mild', 'Normal', 'Weak', 'Yes'], 13 ['Sunny', 'Mild', 'Normal', 'Strong', 'Yes'], 14 ['Overcast', 'Mild', 'High', 'Strong', 'Yes'], 15 ['Overcast', 'Hot', 'Normal', 'Weak', 'Yes'], 16 ['Rain', 'Mild', 'High', 'Strong', 'No'], 17 ] 18 labels = ['Outlook', 'Temperature', 'Humidity', 'Wind'] 19 return data,labels #最后返回的是数据集和分类属性
4、对数据集进行划分
例如、观察矩阵的第一列是否满足需要，如果满足需要，就把后面的添加进来，然后追加到新的矩阵中。
为什么这么做呢？除此之外，axis是轴的意思，这段代码给出了三个参数，第一个是要被划分的数据集（dataSet），第二个是轴线（axis），也就是说的第一列，第二列等，第三个是value，看这一列的数值是否等于value
目的就是为下面的步骤做准备，选出最好的数据分化方式。
1 def SplitData(dataSet,axis,value): 2 retDataSet=[] #创建返回的数据集列表 3 for featVec in dataSet: #遍历数据集 4 if featVec[axis]==value: #如果 5 reduceFeatVec=featVec[:axis] #去掉axis特征 6 reduceFeatVec.extend(featVec[axis+1:]) #将符合条件的添加到返回的数据集 7 retDataSet.append(reduceFeatVec) 8 #返回划分后的数据集 9 return retDataSet
5、选择最好的数据分化方式
信息增益的公式（信息增益于集合熵的关系式）：
其中，|S|为原集合的数量，|Sa|为分类后子集中元素的个数。Entropy(S)为原集合的熵 所以，G(S,A)是在给定属性A的值知道后，导致期望熵的减少,也就是说，若知道A的值，可以获得最大的信息增益，则属性A对数据集分类数量的降低有很大的积极作用。知道A之后，得到的信息是相对其他属性最多的。
1 def chooseBestFeatureToSplit(dataSet): 2 numFeatures = len(dataSet[0]) - 1 #特征数量 3 baseEntropy = calcShannonEnt(dataSet) #计数数据集的香农熵 4 bestInfoGain = 0.0 #信息增益 5 bestFeature = -1 #最优特征的索引值 6 for i in range(numFeatures): #循环的作用就是遍历所有特征 7 featList = [example[i] for example in dataSet]# 获取dataSet的第i个所有特征 8 uniqueVals = set(featList) #创建set集合{}，元素不可重复 9 newEntropy = 0.0 #经验条件熵 10 for value in uniqueVals: #计算信息增益 11 subDataSet = splitDataSet(dataSet, i, value)#subDataSet划分后的子集 12 prob = len(subDataSet) / float(len(dataSet))#计算子集的概率 13 newEntropy += prob * calcShannonEnt((subDataSet))#根据公式计算经验条件熵 14 infoGain = baseEntropy - newEntropy #信息增益 15 print("第%d个特征的增益为%.3f" % (i, infoGain)) #打印每个特征的信息增益 16 if (infoGain > bestInfoGain): #计算信息增益 17 bestInfoGain = infoGain #更新信息增益，找到最大的信息增益 18 bestFeature = i #记录信息增益最大的特征的索引值 19 return bestFeature #最终返回的是信息增益最大特征的索引值
以上运行完以后可以先实验程序
1 mydata,labels=createDataSet() 2 chooseBestFeatureToSplit(mydata)
6、找到出现次数最多的分类名称
1 def moretype_con(classList): 2 classCount={} #主要是存储每个类标签出现的频率 3 for i in classList: 4 if i not in classList.keys(): classCount[i]=0 # 如果一次也没有，次数就赋值为0 5 classCount+=1 6 sorted_classCount=sorted(classCount.iteriterms(),key=operator.itemgetter(1),reverse=True) 7 return sorted_classCount
7、递归创建决策树
1 def createTree(dataSet, labels,featLabels): 2 classList = [example[-1] for example in dataSet] # 取分类标签（是否出去玩：yes or no） 3 if classList.count(classList[0]) == len(classList):# 如果类别完全相同则停止继续划分 4 return classList[0] 5 if len(dataSet[0]) == 1: # 遍历完所有特征时返回出现次数最多的类标签 6 return majorityCnt(classList) 7 bestFeat = ChoosebestSplitData(dataSet) # 选择最优特征 8 bestFeatLabel = labels[bestFeat] # 最优特征的标签 9 featLabels.append(bestFeatLabel) 10 myTree = {bestFeatLabel: {}} # 根据最优特征的标签生成树 11 # 删除已经使用的特征标签 12 # 得到训练集中所有最优解特征的属性值 13 featValues = [example[bestFeat] for example in dataSet] 14 uniqueVals = set(featValues) # 去掉重复的属性值 15 for value in uniqueVals: # 遍历特征，创建决策树 16 del_bestFeat = bestFeat 17 del_labels = labels[bestFeat] 18 del (labels[bestFeat]) 19 myTree[bestFeatLabel][value] = createTree(SplitData(dataSet, bestFeat, value), labels, featLabels) 20 labels.insert(del_bestFeat, del_labels) 21 return myTree
8、获取叶节点的数目和树的层次
（1）、获取叶节点的数目
1 def getleaf_num(myTree): 2 leaf_num=0 3 Start = next(iter(myTree)) 4 #print(" Start",Start) 5 Then = myTree[Start] 6 #print(" Then",Then) 7 for key in Then.keys(): 8 if type(Then[key]).__name__ == 'dict': 9 leaf_num += getleaf_num(Then[key]) 10 else: 11 leaf_num += 1 12 return leaf_num
1 def getTree_Depth(myTree): 2 Depth = 0 3 Start=next(iter(myTree)) 4 Then = myTree[Start] 5 for key in Then.keys(): 6 if type(Then[key]).__name__ == 'dict': 7 thisDepth =1 + getTree_Depth(Then[key]) 8 else: 9 thisDepth = 1 10 if thisDepth>Depth:Depth=thisDepth 11 return Depth
（3）、查看树的叶节点的数目和树的层次
1 mydata,labels=createDataSet() 2 myTree=createTree(mydata,labels) 3 4 print("叶子节点",getleaf_num(myTree)) 5 print("树的层数节",getTree_Depth(myTree))
9、绘制树
（1）、定义箭头样式
1 def plotNode(nodeTxt, centerPt, parentPt, nodeType): 2 font = FontProperties(fname=r"c:windowsfontssimsun.ttc", size=14) #设置中文字体 3 createPlot.ax1.annotate(nodeTxt, xy=parentPt, xycoords='axes fraction', #绘制结点 4 xytext=centerPt, textcoords='axes fraction', 5 va="center", ha="center", bbox=nodeType, arrowprops=dict(arrowstyle="<-"), FontProperties=font)
（2）、标注有向边属性值
1 def plotMidText(cntrPt, parentPt, txtString): 2 xMid = (parentPt[0]-cntrPt[0])/2.0 + cntrPt[0] #计算标注位置 3 yMid = (parentPt[1]-cntrPt[1])/2.0 + cntrPt[1] 4 createPlot.ax1.text(xMid, yMid, txtString)
（3）、绘制决策树
1 def plotTree(myTree, parentPt, nodeTxt): 2 decisionNode = dict(boxstyle="sawtooth", fc="0.8") # 设置结点格式 3 leafNode = dict(boxstyle="round4", fc="0.8") 4 #设置叶结点格式 5 numLeafs = getleaf_num(myTree) #获取决策树叶结点数目，决定了树的宽度 6 depth = getTree_Depth(myTree) #获取决策树层数 7 firstStr = next(iter(myTree)) #下个字典 8 cntrPt = (plotTree.xOff + (1.0 + float(numLeafs))/2.0/plotTree.totalW, plotTree.yOff) #中心位置 9 plotMidText(cntrPt, parentPt, nodeTxt) #标注有向边属性值 10 plotNode(firstStr, cntrPt, parentPt, decisionNode) #绘制结点 11 secondDict = myTree[firstStr] #下一个字典，也就是继续绘制子结点 12 plotTree.yOff = plotTree.yOff - 1.0/plotTree.totalD #y偏移 13 for key in secondDict.keys(): 14 if type(secondDict[key]).__name__=='dict': #测试该结点是否为字典，如果不是字典，代表此结点为叶子结点 15 plotTree(secondDict[key],cntrPt,str(key)) #不是叶结点，递归调用继续绘制 16 else: #如果是叶结点，绘制叶结点，并标注有向边属性值 17 plotTree.xOff = plotTree.xOff + 1.0/plotTree.totalW 18 plotNode(secondDict[key], (plotTree.xOff, plotTree.yOff), cntrPt, leafNode) 19 plotMidText((plotTree.xOff, plotTree.yOff), cntrPt, str(key)) 20 plotTree.yOff = plotTree.yOff + 1.0/plotTree.totalD
10、测试
1 myDat,labels=creatDataSet() 2 myTree=createTree(myDat,labels) 3 print(myTree) 4 createPlot(myTree)
三、整个程序
1 from math import log 2 import operator 3 from matplotlib.font_manager import FontProperties 4 import matplotlib.pyplot as plt 5 #计算数据集的香农公式的值 6 7 8 #新建数据集合 9 def creatDataSet(): 10 # 数据集 11 data = [ 12 ['Sunny', 'Hot', 'High', 'Weak', 'No'], 13 ['Sunny', 'Hot', 'High', 'Strong', 'No'], 14 ['Overcast', 'Hot', 'High', 'Weak', 'Yes'], 15 ['Rain', 'Mild', 'High', 'Weak', 'Yes'], 16 ['Rain', 'Cool', 'Normal', 'Weak', 'Yes'], 17 ['Rain', 'Cool', 'Normal', 'Strong', 'No'], 18 ['Overcast', 'Cool', 'Normal', 'Strong', 'Yes'], 19 ['Sunny', 'Mild', 'High', 'Weak', 'No'], 20 ['Sunny', 'Cool', 'Normal', 'Weak', 'Yes'], 21 ['Rain', 'Mild', 'Normal', 'Weak', 'Yes'], 22 ['Sunny', 'Mild', 'Normal', 'Strong', 'Yes'], 23 ['Overcast', 'Mild', 'High', 'Strong', 'Yes'], 24 ['Overcast', 'Hot', 'Normal', 'Weak', 'Yes'], 25 ['Rain', 'Mild', 'High', 'Strong', 'No'], 26 ] 27 labels = ['Outlook', 'Temperature', 'Humidity', 'Wind'] # 5个特征 28 29 return data,labels 30 31 32 33 34 def xiangnong(dataSet): 35 #返回数据集行数 36 numEntries=len(dataSet) 37 #保存每个标签（label）出现次数的字典 38 labelCounts={} 39 #对每组特征向量进行统计 40 for featVec in dataSet: 41 currentLabel=featVec[-1] #提取标签信息 42 if currentLabel not in labelCounts.keys(): #如果标签没有放入统计次数的字典，添加进去 43 labelCounts[currentLabel]=0 44 labelCounts[currentLabel]+=1 #label计数 45 46 shannonEnt=0.0 #经验熵 47 #计算经验熵 48 for key in labelCounts: 49 prob=float(labelCounts[key])/numEntries #选择该标签的概率 50 shannonEnt-=prob*log(prob,2) #利用公式计算 51 return shannonEnt 52 53 54 #对数据集进行划分 55 56 def SplitData(dataSet,axis,value): 57 #创建返回的数据集列表 58 retDataSet=[] 59 #遍历数据集 60 for featVec in dataSet: 61 if featVec[axis]==value: 62 #去掉axis特征 63 reduceFeatVec=featVec[:axis] 64 #将符合条件的添加到返回的数据集 65 reduceFeatVec.extend(featVec[axis+1:]) 66 retDataSet.append(reduceFeatVec) 67 #返回划分后的数据集 68 return retDataSet 69 70 71 #选择最好的数据集划分方式 72 73 def ChoosebestSplitData(data): 74 numFeatures = len(data[0]) - 1 # 获取样本集中特征个数，-1是因为最后一列是label 75 baseEntropy = xiangnong(data) # 计算根节点的信息熵 76 bestInfoGain = 0.0 # 初始化信息增益 77 bestFeature = -1 # 初始化最优特征的索引值 78 for i in range(numFeatures): # 遍历所有特征，i表示第几个特征 79 featList = [example[i] for example in data] # 将dataSet中的数据按行依次放入example中，然后取得example中的example[i]元素，即获得特征i的所有取值 80 uniqueVals = set(featList) # 由上一步得到了特征i的取值，比如[1,1,1,0,0]，使用集合这个数据类型删除多余重复的取值，则剩下[1,0] 81 newEntropy = 0.0 82 for value in uniqueVals: 83 subDataSet = SplitData(data, i, value) # 逐个划分数据集，得到基于特征i和对应的取值划分后的子集 84 prob = len(subDataSet) / float(len(data)) # 根据特征i可能取值划分出来的子集的概率 85 newEntropy += prob * xiangnong(subDataSet) # 求解分支节点的信息熵 86 infoGain = baseEntropy - newEntropy # 计算信息增益 87 if (infoGain > bestInfoGain): # 对循环求得的信息增益进行大小比较 88 bestInfoGain = infoGain 89 bestFeature = i # 如果计算所得信息增益最大，则求得最佳划分方法 90 return bestFeature # 返回划分属性（特征） 91 92 93 94 #该函数使用分类名称的列表，然后创建键值为ClassList中唯一的数据字典，字典对象存储了ClassList中每个类标签出现的评率，最后利用operator操作键值排序 95 #字典，并返回出现次数最多的分类名称。 96 def moretype_con(classList): 97 classCount={}#主要是存储每个类标签出现的评率 98 for i in classList: 99 if i not in classList.keys(): classCount[i]=0 # 如果一次也没有，次数就赋值为0 100 classCount+=1 101 sorted_classCount=sorted(classCount.iteriterms(),key=operator.itemgetter(1),reverse=True) 102 return sorted_classCount 103 #创建树 104 def createTree(dataSet, labels,featLabels): 105 106 # 取分类标签（是否出去玩：yes or no） 107 classList = [example[-1] for example in dataSet] 108 # 如果类别完全相同则停止继续划分 109 if classList.count(classList[0]) == len(classList): 110 return classList[0] 111 # 遍历完所有特征时返回出现次数最多的类标签 112 if len(dataSet[0]) == 1: 113 return majorityCnt(classList) 114 # 选择最优特征 115 bestFeat = ChoosebestSplitData(dataSet) 116 # 最优特征的标签 117 bestFeatLabel = labels[bestFeat] 118 featLabels.append(bestFeatLabel) 119 # 根据最优特征的标签生成树 120 myTree = {bestFeatLabel: {}} 121 # 删除已经使用的特征标签 122 # 得到训练集中所有最优解特征的属性值 123 featValues = [example[bestFeat] for example in dataSet] 124 # 去掉重复的属性值 125 uniqueVals = set(featValues) 126 # 遍历特征，创建决策树 127 for value in uniqueVals: 128 del_bestFeat = bestFeat 129 del_labels = labels[bestFeat] 130 del (labels[bestFeat]) 131 myTree[bestFeatLabel][value] = createTree(SplitData(dataSet, bestFeat, value), labels, featLabels) 132 labels.insert(del_bestFeat, del_labels) 133 return myTree 134 135 def getleaf_num(myTree): 136 leaf_num=0 137 Start = next(iter(myTree)) 138 139 Then = myTree[Start] 140 141 for key in Then.keys(): 142 if type(Then[key]).__name__ == 'dict': 143 leaf_num += getleaf_num(Then[key]) 144 else: 145 leaf_num += 1 146 return leaf_num 147 148 def getTree_Depth(myTree): 149 Depth = 0 150 Start=next(iter(myTree)) 151 Then = myTree[Start] 152 for key in Then.keys(): 153 if type(Then[key]).__name__ == 'dict': 154 thisDepth =1 + getTree_Depth(Then[key]) 155 else: 156 thisDepth = 1 157 if thisDepth>Depth:Depth=thisDepth 158 return Depth 159 160 161 def plotNode(nodeTxt, centerPt, parentPt, nodeType): #定义箭头格式 162 font = FontProperties(fname=r"c:windowsfontssimsun.ttc", size=14) #设置中文字体 163 createPlot.ax1.annotate(nodeTxt, xy=parentPt, xycoords='axes fraction', #绘制结点 164 xytext=centerPt, textcoords='axes fraction', 165 va="center", ha="center", bbox=nodeType, arrowprops=dict(arrowstyle="<-"), FontProperties=font) 166 167 """ 168 函数说明:标注有向边属性值 169 """ 170 def plotMidText(cntrPt, parentPt, txtString): 171 xMid = (parentPt[0]-cntrPt[0])/2.0 + cntrPt[0] #计算标注位置 172 yMid = (parentPt[1]-cntrPt[1])/2.0 + cntrPt[1] 173 createPlot.ax1.text(xMid, yMid, txtString) 174 175 """ 176 函数说明:绘制决策树 177 178 Parameters: 179 myTree - 决策树(字典) 180 parentPt - 标注的内容 181 nodeTxt - 结点名 182 """ 183 def plotTree(myTree, parentPt, nodeTxt): 184 decisionNode = dict(boxstyle="sawtooth", fc="0.8") # 设置结点格式 185 leafNode = dict(boxstyle="round4", fc="0.8") 186 #设置叶结点格式 187 numLeafs = getleaf_num(myTree) #获取决策树叶结点数目，决定了树的宽度 188 depth = getTree_Depth(myTree) #获取决策树层数 189 firstStr = next(iter(myTree)) #下个字典 190 cntrPt = (plotTree.xOff + (1.0 + float(numLeafs))/2.0/plotTree.totalW, plotTree.yOff) #中心位置 191 plotMidText(cntrPt, parentPt, nodeTxt) #标注有向边属性值 192 plotNode(firstStr, cntrPt, parentPt, decisionNode) #绘制结点 193 secondDict = myTree[firstStr] #下一个字典，也就是继续绘制子结点 194 plotTree.yOff = plotTree.yOff - 1.0/plotTree.totalD #y偏移 195 for key in secondDict.keys(): 196 if type(secondDict[key]).__name__=='dict': #测试该结点是否为字典，如果不是字典，代表此结点为叶子结点 197 plotTree(secondDict[key],cntrPt,str(key)) #不是叶结点，递归调用继续绘制 198 else: #如果是叶结点，绘制叶结点，并标注有向边属性值 199 plotTree.xOff = plotTree.xOff + 1.0/plotTree.totalW 200 plotNode(secondDict[key], (plotTree.xOff, plotTree.yOff), cntrPt, leafNode) 201 plotMidText((plotTree.xOff, plotTree.yOff), cntrPt, str(key)) 202 plotTree.yOff = plotTree.yOff + 1.0/plotTree.totalD 203 204 """ 205 函数说明:创建绘制面板 206 207 Parameters: 208 inTree - 决策树(字典) 209 """ 210 def createPlot(inTree): 211 fig = plt.figure(1, facecolor='white')#创建fig 212 fig.clf()#清空fig 213 axprops = dict(xticks=[], yticks=[]) 214 createPlot.ax1 = plt.subplot(111, frameon=False, **axprops)#去掉x、y轴 215 plotTree.totalW = float(getleaf_num(inTree))#获取决策树叶结点数目 216 plotTree.totalD = float(getTree_Depth(inTree))#获取决策树层数 217 plotTree.xOff = -0.5/plotTree.totalW; plotTree.yOff = 1.0#x偏移 218 plotTree(inTree, (0.5,1.0), '')#绘制决策树 219 plt.show()#显示绘制结果 220 if __name__=='__main__': 221 myDat,labels=creatDataSet() 222 featLabels = [] 223 myTree=createTree(myDat,labels,featLabels) 224 createPlot(myTree)
