zoukankan      html  css  js  c++  java
  • 机器学习——集成学习算法的理解

    集成学习是一种把多个 个体学习器(弱学习器)组成一个强学习器的算法。可以把它当做一种优化策略。

    个体学习器:实际是一种机器学习的算法训练的模型,如:决策树,支持向量机,神经网络 等。

    弱学习器:准确率略高于随机猜测的个体学习器。比如在二分类问题上:男和女。随机猜测正确的概率为50%,而弱学习器的准确率 略高于50%。

    多个同样算法的个体学习器 的组合 叫做同质。

    如果其中还包含的算法,如同时有 决策树和 支持向量 称为 异质。

    现在通常使用的是同质的 集成学习。

    集成学习按照算法划分 最常见的有两种  bagging和boosting

    bagging:一种简单采用投票和求平均值的方法。一般对数据集,采用随机抽样放回方法,分成T份数据。利用每份数据,对个体学习器进行训练。最后得到T个体学习器。

        然后把T个学习器组合在一起:分类问题:采用投票的方式,多个学习器都对数据X进行预测,哪个答案最多,就采用哪个。

                       回归问题:采用求平均值的方式,求多个个体学习器预测结果的平均值。

    boosting: 一种不断减少模型误差的方法。首先一个模型对训练数据进行预测,对预测错误的样本赋予更高的权值。然后再一次训练模型进行预测,重点关注那些 高权值预测

         错误的样本。如此循环,直到个体学习器的数量达到T个。分类问题:T个 个体学习器进行加权投票。最先训练学习器的权值低,最后的权值高。

                                    回归问题:采用加权求平均值的方法。

  • 相关阅读:
    进入到已有的docker容器中
    Ubuntu 18.04下指定Sublime Text 3 默认python编译版本
    设计模式之单例模式(c++版)
    clang10在ubuntu18.04下编译ZeroTier,故障解决
    搜狗输入法安装实践
    ubuntu 安装 dingtalk,飞书,google,zoom,时钟等
    js为某个元素添加某个类,并为其他兄弟元素删除此类
    jquery 中attr和css的区别
    unlimited tablespace 权限是否对所有表空间拥有权限测试
    Oracle DG 日常管理操作
  • 原文地址:https://www.cnblogs.com/HL-blog/p/8857700.html
Copyright © 2011-2022 走看看