决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法，其原理是基于信息熵和信息增益。

信息熵的定义
H的专业术语称之为信息熵，单位为比特。

信息和消除不确定性是相联系的,当得到的额外信息越多的话，那么猜测的代价越小，当得知某个特征之后，能够减少的不确定性大小，越大可以认为这个特征很重要。要衡量减少的不确定性大小，需引入信息增益（决策树的划分依据之一）：

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

 信息熵的计算：

 条件熵的计算：

C_K表示属于某个类别的样本数，信息增益表示得知特征X的信息而息的不确定性减少的程度使得类Y的信息熵减少的程度

决策树的三种算法实现：
ID3 -->信息增益最大的准则
C4.5-->信息增益比最大的准则
CART分类树-->基尼系数最小的准则，在sklearn中可以选择划分的默认原则，划分更加细致

决策树算法在sklearn中的API：
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子

示例：泰坦尼克号乘客生存预测（泰坦尼克号数据）

在泰坦尼克号数据描述泰坦尼克号上的个别乘客的生存状态。数据集中的特征是票的类别、存活、乘坐班、年龄、登陆、home.dest、房间、票、船和性别。
1、乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
2、其中age数据存在缺失。

分析
1. 选择认为重要的几个特征 ['pclass', 'age', 'sex']
2. 填充缺失值
3. 特征中出现类别符号，需要进行one-hot编码处理(DictVectorizer)
4. x.to_dict(orient="records") 需要将数组特征转换成字典数据
5. 数据集划分
6. 决策树分类预测

预测结果：

当树的深度为5时，准确率约为0.837；当树的深度为6时，准确率约为0.857；当树的深度为10时，准确率约为0.802，树的深度能够直接影响到预测的准确率

保存树的结构
sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

完整代码实现：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.feature_extraction.dict_vectorizer import DictVectorizer
from sklearn.tree import export_graphviz


def decisioncls():
    """
    决策树进行乘客生存预测
    :return:
    """
    # 1、获取数据
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # 2、数据的处理
    x = titan[['pclass', 'age', 'sex']]
    y = titan['survived']

    # 缺失值需要处理，将特征当中有类别的这些特征进行字典特征抽取
    x['age'].fillna(x['age'].mean(), inplace=True)

    # 对于x转换成字典数据x.to_dict(orient="records")
    # [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}]

    dict = DictVectorizer(sparse=False)
    x = dict.fit_transform(x.to_dict(orient="records"))

    print(dict.get_feature_names())

    # 分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

    # 进行决策树的建立和预测
    dc = DecisionTreeClassifier(max_depth=10)

    dc.fit(x_train, y_train)

    print("预测的准确率为：", dc.score(x_test, y_test))

    # 保存树到dot文件
    export_graphviz(
        dc, out_file="./tree.dot",
        feature_names=[
            'age', 'pclass=1st',
            'pclass=2nd', 'pclass=3rd',
            '女性', '男性'
        ]
    )

    return None


decisioncls()

生成的tree.dot文件：

安装graphviz，将dot文件转换为pdf、png：

# 安装graphviz
sudo apt-get install graphviz

# 将graphviz转化为png
dot -Tpng tree.dot -o tree.png

生成的tree.png决策图：