机器学习实战——决策树

1、信息熵

一些概念

p(x):分类结果x的概率，即分类结果为x的数据量/总数据量
信息：l(x) = -log2(p(x))
信息熵：信息的期望值 -(p(x1)l(x1) + p(x2)l(x2) + ……)

计算信息熵

def calcShannonEnt(dataset):
    numEntries = len(dataset)
    labelCounts = {}
    for featVec in dataset:
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys():
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob * log(prob,2)
    return shannonEnt

2、按给定特征划分数据集

# axis 特征 ， value 给定的该特征的值
def splitDataSet(dataSet , axis , value):
    retDataSet = []
    for featVec in dataSet:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]
            '''
            b = [1,2]
            a = [1,2]
            b.append（a） 函数： 往列表b里面添加元素a：
            结果： b = [1,2,[1,2]]
            b.extend（a） 函数： 用列表a扩张列表b：
            结果： b = [1,2,1,2] 
            '''
            reducedFeatVec.extend(featVec[axis+1:])
            retDataSet.append(reducedFeatVec)
    return retDataSet

3、寻找划分数据集的最好特征

def chooseBestFeatureToSplit(dataset):
    numFeatures = len(dataset[0]) - 1
    baseEntropy = calcShannonEnt(dataset)
    bestInfoGain = 0.0
    bestFeature = -1
    numDatas = len(dataset)
    for i in range(numFeatures):
        featList = [example[i] for example in dataset] # 第i列
        uniqueVals = set(featList) # uniqueValsl里面保存着第i个特征的所有可能的取值
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataset,i,value)
            prob = float(len(subDataSet))/numDatas
            newEntropy += prob*calcShannonEnt(subDataSet) # 求划分后信息熵的期望
        #信息熵可以表现数据的无序性，所以划分后信息熵的期望越小越好
        infoGain = baseEntropy - newEntropy
        if (infoGain > bestInfoGain):
            bestInfoGain = infoGain
            bestFeature = i
    return bestFeature

4、决策树算法

算法说明

创建决策树算法 createTree()：
if 数据集中的每个子项的类别完全相同：
return 该类别
if 遍历完所有的特征：
return 频率最高的类别
寻找划分数据集的最好特征
创建分支节点
划分数据集
for 每个划分的子集
调用createTree()并且增加返回结果到分支节点中
return 分支节点

频率最高的类别函数

def majorityCnt(classList):
    classCount = {}
    for vote in classList:
        if vote not in classCount.keys():
            classCount[vote] = 0
        classCount[vote] += 1
    sortedclassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedclassCount[0][0]

创建决策树

def createTree(dataSet,labels):
    classList = [example[-1] for example in dataSet]
    #if 数据集中的每个子项的类别完全相同：return 该类别
    if(classList.count(classList[0]) == len(classList)):
        return classList[0]
    #if 遍历完所有的特征：return 频率最高的类别
    if(len(dataSet[0]) == 1):
        return majorityCnt(classList)
    #寻找划分数据集的最好特征
    bestFeat = chooseBestFeatureToSplit(dataSet)
    bestFeatLabel = labels[bestFeat]
    #创建分支节点
    myTree = {bestFeatLabel:{}}
    del(labels[bestFeat])
    #划分数据集
    featValues = [example[bestFeat] for example in dataSet]
    uniqueVals = set(featValues)
    #for 每个划分的子集
    for value in uniqueVals:
        #调用createTree()并且增加返回结果到分支节点中
        sublabels = labels[:]
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet,bestFeat,value),sublabels)
    #return 分支节点
    return myTree