zoukankan      html  css  js  c++  java
  • 课时五、boost与adaboost

    提升的概念

    提升算法

    提升算法推导



    梯度提升决策树



    决策树的描述

    正则项的定义

    目标函数的计算

    • 目标函数继续化简
    • 子树划分

    Adaboost




    误差上限

    方差与偏差

    • Bagging能够减少训练方差,对于不剪枝的决策树、神经网络等学习器有良好的集成效果
    • Boosting减少偏差,能够基于泛化能力较弱的学习器构造强学习器

    boost算法

    • Boosting分类方法,其过程如下所示:

      • 先通过对N个训练数据的学习得到第一个弱分类器h1;

      • 将h1分错的数据和其他的新数据一起构成一个新的有N个训练数据的样本,通过对这个样本的学习得到第二个弱分类器h2;

      • 将h1和h2都分错了的数据加上其他的新数据构成另一个新的有N个训练数据的样本,通过对这个样本的学习得到第三个弱分类器h3;

      • 最终经过提升的强分类器h_final=Majority Vote(h1,h2,h3)。即某个数据被分为哪一类要通过h1,h2,h3的多数表决。

    • 上述Boosting算法,存在两个问题:

      • 如何调整训练集,使得在训练集上训练弱分类器得以进行。

      • 如何将训练得到的各个弱分类器联合起来形成强分类器。

    bagging算法

    xgboost

    数据预处理-清洗

  • 相关阅读:
    ADO.NET连接SQLSERVER数据库 连接字符串
    HttpModule的作用
    MyBatis框架简介
    idea成功部署项目到tomcat后却无法访问
    Application context not configured this file
    tomcat体系结构
    MySql语法概述
    MySql数据库事务
    split(",")与split(",",-1)的区别
    Cookie,session的原理及用法
  • 原文地址:https://www.cnblogs.com/linyk/p/13303219.html
Copyright © 2011-2022 走看看