zoukankan      html  css  js  c++  java
  • 李航统计学习方法(第二版)(十):决策树CART算法

    1 简介

    1.1 介绍

     

    1.2 生成步骤

    CART树算法由以下两步组成:
    (1)决策树生成:基于训练数据集生成决策树,生成的决策树要尽量大;
    (2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树,这时用损失函数址小作为剪枝的标准。

    2 算法

    2.1 回归树

    对回归树用平方误差最小化准则,生成二叉树。

    2.1.1 回归树生成

     

     

     

    2.2 分类树

    对分类树用基尼指数(Gini imlex)最小化准则,进行特征选择,生成二叉树。

    2.2.1 分类树生成

     

     

    2.3 剪枝

    CART剪枝算法由两步组成:

    首先从生成算法产生的决策树底端开始不断剪枝,直到的根结点,形成一个子树序列

    然后通过交叉验证法在独立的验证数据集上对子树序列进行测试,从中选择最优子树。
    2.3.1 流程一 剪枝,形成一个子树序列

     

     

     2.3.2 最优子树

     2.3.3 剪枝最终算法

     

  • 相关阅读:
    64_q2
    64_q1
    64_p10
    64_p9
    64_p8
    64_p7
    64_p6
    64_p5
    64_p4
    64_p3
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/12793299.html
Copyright © 2011-2022 走看看