zoukankan      html  css  js  c++  java
  • 机器学习:决策树(决策树解决回归问题、决策树算法的局限性)

    一、解决回归问题的思路

     1)思路对比

    • 解决分类问题:根据模型参数训练结束后,对每个“叶子”节点的样本数据进行投票,规定数量最多的样本的类型为该“叶子”的预测类型;
    • 解决回归问题根据模型参数划分结束后,对每个“叶子”节点处 的相应的数据输出值的平均值,作为该“叶子”的预测值;(也就是训练结束后,每个“叶子”处可能有多个数值,取多个数值的平均值作为该“叶子”的预测值,根据特征值预测未知的样本数据时,如果最终计算结果在该“叶子”上,认为该“叶子”的预测值为该特征值对应的样本的数据;)

     2)scikit-learn 的决策树算法

    • 两个算法的参数相同,参数的功能相同;
    1. DecisionTreeClassifier():解决分类问题;
    2. DecisionTreeRegressor():解决回归问题;

     3)判断模型过拟合 / 欠拟合

     4)代码

    • import numpy as np
      import matplotlib.pyplot as plt
      from sklearn import datasets
      
      boston = datasets.load_boston()
      X = boston.data
      y = boston.target
      
      from sklearn.model_selection import train_test_split
      X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
      
      from sklearn.tree import DecisionTreeRegressor
      dt_reg = DecisionTreeRegressor()
      dt_reg.fit(X_train, y_train)
      
      dt_reg.score(X_test, y_test)
      # 模型对测试数据集上的准确率:0.6946080795352323
      
      dt_reg.score(X_train, y_train)
      # 模型在训练数据集上的准确率:1.0
    • 分析:模型对训练数据集的预测准确度:100%,但在测试数据集上的准确度:69%,模型过拟合;
    • 一般过拟合:
    1. 模型在训练数据集上的表现非常好;
    2. 模型在测试数据集上的表现不好;

    二、决策树算法的局限性

     1)局限性一

    •  决策树模型的决策边界都是与坐标轴平行的,永远不会产生斜线,决策边界可能不准确;
    • 情景一:
    1. 左一图:原始数据分布;
    2. 中间图:决策树模型得到的决策边界;
    3. 右一图:为线性模型得到的决策边界;
    •     、、、、、、 
    • 情景二:此种数据分布情况,使用决策树算法不能很好的进行分类,其决策边界有可能是右侧图形态;

     2)局限性二

    • 对个别数据比较敏感:数据集中样本的增减,对模型的训练影响较大;
  • 相关阅读:
    关闭浏览器清除cookie
    JSONP跨域请求数据报错 “Unexpected token :”的解决办法
    HTTP请求方法
    Html 中判断某个class的个数
    将div标签中的table水平居中
    js阻止事件冒泡
    Vue中V-bind的使用。为何标签中style="height:90px"也需要写为V-bind:style="height:90px",哪些属性需要绑定?哪些属性不需要绑定?
    css中 !important的作用。
    Notification通知
    DataAdapter中DeleteCommand和UpdateCommand
  • 原文地址:https://www.cnblogs.com/volcao/p/9481634.html
Copyright © 2011-2022 走看看