随机森林 是并行的思想（集体智慧）
大大减少了单机的运算量和有效的排除了异常值对我们决策的影响
决策树
import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier #决策树类别 from sklearn.tree import export_graphviz from sklearn.tree import DecisionTreeRegressor #决策树做回归 from sklearn.model_selection import train_test_split #切分训练集和测试集的比例~~ from sklearn.metrics import accuracy_score #metrics指标 accuracy_score评估准确率 import matplotlib.pyplot as plt import matplotlib as mpl iris=load_iris() print(list(iris.keys())) print(iris["feature_names"]) data=pd.DataFrame(iris["data"])#将数据转成pandas的数据集 data["Species"]=iris.target #增加一列 # print(data) x=data.iloc[:,:2] #花萼的长度 和 宽度 y=data.iloc[:,-1] #最后一列Species种类 》》就是0 1 2 #把原有数据集切成两部分 #train_size=0.75 》75%训练集 25%测试集 #random_state写死每次运行切割数据都是一样的，不写死的话系统会每次随机赋值，》》就会使得每次的数据内容是不一样的 x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.75,random_state=42) #max_depth=2限制数的深度只有2层 #分割的标准 tree_clf=DecisionTreeClassifier(max_depth=8,criterion='entropy') tree_clf.fit(x_train,y_train) y_test_hat=tree_clf.predict(x_test) # print(y_test_hat) #评估准确度，正例就对，负例纠错，得出浮点数 *100就是百分比 print("acc score:",accuracy_score(y_test,y_test_hat)) print(tree_clf.predict_proba([[5,1],[1,1.5]]))#[[0. 1. 0.],[1. 0. 0.]] 说明[5,1]属于1类型 [1,1.5]属于0类别 print(tree_clf.predict([[5,1],[1,1.5]]))#[1 0] #决策树类别的max_depth参数每次都是自己手动调节参数太麻烦，我们让代码自动实现 depth=np.arange(1,15) err_list=[] for d in depth: clf=DecisionTreeClassifier(max_depth=d,criterion='entropy') clf.fit(x_train,y_train) y_test_hat=clf.predict(x_test) result=(y_test_hat==y_test) # if d==1: # print(result) # print(np.mean(result))#True为1 False为0 err=1-np.mean(result) # print(err*100) err_list.append(err) # print(d,"错误率:%.2f%%"%(err*100)) mpl.rcParams['font.sans-serif']=['SimHei']#把字体设置为黑体 plt.figure(facecolor='w')#图的底色是白色. plt.plot(depth,err_list,'ro-',lw=2)#横坐标，纵坐标，'ro-'（红色，每个点画成o用-连接），lw线宽 plt.xlabel('决策树深度',fontsize=15) plt.ylabel('错误率',fontsize=15) plt.title('决策树深度和过拟合',fontsize=18) plt.grid(True) plt.show()
随机森林
from sklearn.ensemble import RandomForestClassifier#随机森林 from sklearn.model_selection import train_test_split#分隔的方式 from sklearn.ensemble import BaggingClassifier #装袋分类器 from sklearn.tree import DecisionTreeClassifier#决策树 from sklearn.metrics import accuracy_score#metrics指标 accuracy_score评估准确率 from sklearn.datasets import load_iris import numpy as np import matplotlib as mlt import matplotlib.pyplot as plt iris=load_iris() print(list(iris.keys())) print(iris["feature_names"]) x=iris["data"][:,:2]#花萼的长度和宽度 y=iris["target"] x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.33,random_state=42) #n_estimators=500用500颗小决策树构成森林 max_leaf_nodes最大叶节点数 n_jobs用几个线程 rnd_clf=RandomForestClassifier(n_estimators=100,max_leaf_nodes=16,n_jobs=1) rnd_clf.fit(x_train,y_train) #这个 #max_samples=1.0 训练整个样本（是来随机样本的比例） #splitter="random"每个小树取出所有样本但是使用随机的维度，主要在于随机维度，而不在于随机样本数 bag_clf=BaggingClassifier( DecisionTreeClassifier(splitter="random",max_leaf_nodes=16), n_estimators=100,max_samples=1.0,bootstrap=True,n_jobs=1 ) bag_clf.fit(x_train,y_train) y_pred_bg=bag_clf.predict(x_test) print(accuracy_score(y_test,y_pred_bg)) y_pred_tf=rnd_clf.predict(x_test) print(accuracy_score(y_test,y_pred_tf)) count=np.arange(10,500,10) err_list=[] n_estimators_list=[] for i in count: t_rnd_clf=RandomForestClassifier(n_estimators=i,max_leaf_nodes=16,n_jobs=1) t_rnd_clf.fit(x_train,y_train) y_pred_tf=t_rnd_clf.predict(x_test) err_list.append(1-accuracy_score(y_test,y_pred_tf)) n_estimators_list.append(i) #找出错误率最低的小决策树数量 minnum=err_list[0]#初始化 for i in err_list: if i<minnum: minnum=i minindex=err_list.index(minnum) minerroCount=n_estimators_list[minindex] countR=np.arange(10,50) err_listR=[] for i in countR: t_rnd_clfR=RandomForestClassifier(n_estimators=minerroCount,max_leaf_nodes=i,n_jobs=1) t_rnd_clfR.fit(x_train,y_train) y_pred_tf=t_rnd_clfR.predict(x_test) err_listR.append(1-accuracy_score(y_test,y_pred_tf)) mlt.rcParams['font.sans-serif']=['SimHei']#把字体设置为黑体 fig=plt.figure(facecolor='w')#图的底色是白色. ax1=fig.add_subplot(2,1,1) ax1.plot(count,err_list,'rp-',lw=2)#横坐标，纵坐标，'ro-'（红色，每个点画成o用-连接），lw线宽 plt.title('决策树深度和过拟合',fontsize=18,c='skyblue') plt.xlabel('决策树深度',fontsize=15) plt.ylabel('错误率',fontsize=15) plt.grid(True) ax2=fig.add_subplot(2,1,2) ax2.plot(countR,err_listR,'ro-',lw=2) plt.title('决策树深度和过拟合mm',fontsize=18,c='skyblue') plt.xlabel('决策树深度mm',fontsize=15) plt.ylabel('错误率mm',fontsize=15) # ax1.title('决策树深度和过拟合',fontsize=18) # ax1.grid(True) plt.grid(True) plt.show() #Feature Importance iris=load_iris() #n_jobs=-1不限制线程数，有几线程就用几个线程 rnd_clf=RandomForestClassifier(n_estimators=500,n_jobs=-1) rnd_clf.fit(iris["data"],iris["target"]) #feature_importances_随机森林和决策树的副产品，可以做特征的提取 #就是fit（x，y） x的每个维度和y的相关度 for name,score in zip(iris["feature_names"],rnd_clf.feature_importances_): print(name,score) #上方输出结果 # sepal length (cm) 0.10375860847964496 # sepal width (cm) 0.024341448023000867 # petal length (cm) 0.4439466177026777 # petal width (cm) 0.42795332579467654
决策树回归
from sklearn.tree import DecisionTreeRegressor#决策树回归 import numpy as np import matplotlib.pyplot as plt n=100 x=np.random.rand(n)*4-1 x.sort() y=np.sin(x)+np.random.rand(n)*0.05 # print(y) x=x.reshape(-1,1)#变成2维 每个列表只有一个列向量，行自适应，每个只有一列 # print(x) dt_reg=DecisionTreeRegressor(criterion="mse",max_depth=3) dt_reg.fit(x,y) x_test=np.linspace(-3,3,50).reshape(-1,1)#-3~3 平均分成50个数,然后一个列只有一列 # print(x_test) y_hat=dt_reg.predict(x_test) # print(y_hat) ''' plt.plot(x,y,'m*',label="actual") plt.plot(x_test,y_hat,'r-',lw=2,label='predict') # print(help(plt.legend)) plt.legend(loc="best") plt.grid() plt.show() ''' depth=[2,4,6,8,10] color="ygbym" x_test=np.linspace(-3,3,50).reshape(-1,1) plt.plot(x,y,'r*',label="actual") for d,c in zip(depth,color): dt_reg=DecisionTreeRegressor(criterion="mse",max_depth=d) dt_reg.fit(x,y) y_hat=dt_reg.predict(x_test) plt.plot(x_test,y_hat,'-',color=c,lw=2,label='depth=%d'%d) plt.legend(loc="best") plt.grid(b=True) plt.show()
