zoukankan      html  css  js  c++  java
  • 集成学习:以Bagging、Adaboosting为例

    集成学习是一大类模型融合策略和方法的统称,以下以bagging和boosting为例进行说明:

    1、boosting

    • boosting方法训练分类器采用串行的方式,每个弱分类器之间是相互依赖的,尤其后一个弱分类器是依赖于前一个分类器的分类结果而构建的
    • 此方法的基本思想是在每一层训练时,对前一层基分类器分错的样本,基于更高的权重,测试时,根据各层分类器的结果加权得到最终结果,即boosting方法的中心思想是进行迭代学习。

    2、bagging

    • bagging采用并行的方式进行弱分类器的训练,各个弱分类器之间相互独立,对训练集采用又放回的抽样为每个弱分类器构建训练子集。
    • 对于预测样本,采取投票表决的方式进行最后的分类。

    以方差和偏差的角度来看待两个方法,集成学习的误差来源于偏差和方差之和,boosting基于逐步迭代聚焦于错分类的样本,减少集成学习的偏差,而bagging基于多个模型独立训练,利用多数表决以减少方差的方式来对集成模型进行优化。

    如何解释bagging的减少方差和boosting的减少方差?

    我们都是小怪兽,总有一天,会被正义的奥特曼杀死。
  • 相关阅读:
    电影观后感
    自定义内存管理
    web.xml配置详解
    Annotation
    Centos中yum方式安装java
    linux下添加用户并赋予root权限
    Injector
    Container
    GlassFish的安装与使用(Windows)
    Version Control
  • 原文地址:https://www.cnblogs.com/rzw8023/p/10589453.html
Copyright © 2011-2022 走看看