Python数据挖掘—分类—决策树

概念

决策树（Decision Tree）：它通过对训练样本的学习，并建立分类规则，然后依据分类，对新样本数据进行分类预测，属于有监督学习

优点：决策树易于理解和实现，决策树可处理数值型和非数值型数据

 

步骤

• 导入数据，确定虚拟变量的列，然后遍历这些列，将这些类的数据转换为分类型数据，再通过get_dummies()方法获取虚拟变量

import pandas

data=pandas.read_csv(
     "C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\5.3\data.csv")

dummyColumns=["Gender", "ParentEncouragement"]

for column in dummyColumns:
    data[column]=data[column].astype("category")
    

dummiesData=pandas.get_dummies(
        data,
        columns=dummyColumns,
        prefix=dummyColumns,
        prefix_sep="=",
        drop_first=True)

dummiesData.columns

• 确定特征数据和目标数据

fData=dummiesData[[
     'ParentIncome', 'IQ', 'Gender=Male',
    'ParentEncouragement=Not Encouraged']]
    
tData=dummiesData["CollegePlans"]

我注意到：fData即是特征数据为一个DataFrame数据框，而tData则是一个Series

• 导入DecisionTreeClassifier类，然后通过cross_val_score进行评分

from sklearn.tree import DecisionTreeClassifier

dtModel=DecisionTreeClassifier(max_leaf_nodes=8)   #该处为调优

from sklearn.model_selection import cross_val_score

cross_val_score(
    dtModel,
    fData,tData,cv=10)

dtModel=DecisionTreeClassifier(max_leaf_nodes=8) 此处操作为调优操作，随机森林在不调优前普遍高于决策树模型